PREMA g o s t o

2 0 1 0 N ú M E R o 1

Série eSpecial Sobre

notesREDUÇÃo DA PoBREZA E REDE DE GESTÃo ECoNÔMICA

O Banco Mundial

Marco Conceitual para Monitoramento e Avaliação

Um número cada vez maior de governos dos países em desenvolvimento trabalha para melhorar seu desempenho. Para tanto, estão criando sistemas para medir e ajudá-los a entender o desempenho de seus serviços e programas. Esta tendência sofre influência dos países da Organização para Coop-eração e Desenvolvimento Econômico (OCDE), a maioria dos quais dá grande prioridade aos quatro principais usos dos resultados de M&A:1. Desenvolvimento de política2. Formulação e orçamentação de política com

base em evidência3. Desempenho de gestão4. Prestação de contas.

A prioridade para medir e gerenciar melhor o desempenho do governo em países de renda média e baixa aumenta com as contínuas pressões fiscais e macroeconômicas que afetam a todos os países, assim como pelas expectativas cada vez maiores dos cidadãos comuns. Ela também é influenciada pela necessidade dos cidadãos, governos e da co-munidade internacional de tornar as ações do Estado mais eficazes no aumento do bem-estar, na redução da pobreza e na melhoria das opor-tunidades para todos. Outro incentivo para o foco

Keith Mackay

no desempenho são as grandes expectativas dos doadores internacionais.

Há uma literatura cada vez mais extensa so-bre a experiência dos países na construção e no fortalecimento de seus sistemas de M&A, assim como sobre as ferramentas e técnicas de M&A que eles usam. Esta literatura abrange conferências, pesquisas sobre estudos de caso de país, revisões acadêmicas e vários sítios de doadores, governos e associações de avaliação. Pode ser difícil acessar e assimilar essa informação em seus diferentes formatos, especialmente para os funcionários com mais tempo de serviço e que são novatos no M&A.

Por que os Sistemas de M&A Melhoram o Desempenho do GovernoEste artigo1 apresenta as principais formas de uti-lização dos resultados de M&A em todo o ciclo da política para melhorar o desempenho de tomada de decisão do governo, assim como dos serviços e programas do governo, inclusive o uso de M&A para formulação de política com base em evidên-cia, orçamentação, gestão e prestação de contas.

Introdução à SérieEste é o primeiro artigo em uma série mensal sobre sistemas governamentais de monitoramento e avaliação (M&A), sob a liderança do PREM – Grupo de Redução da Pobreza e Igualdade – e orientação de Jaime Saavedra, Gladys Lopez-Acevedo e Keith Mackay, com contribuições de vários colegas do Banco Mundial. O principal objetivo desta série é resumir o conhecimento existente sobre sistemas de M&A e documentar novos conhecimentos nesta área que podem não estar ainda bem claros. A série é voltada aos funcionários do Banco Mundial e do doador que trabalham para dar suporte aos governos do cliente no fortalecimento de seus sistemas de M&A, assim como aos funcionários do governo interessados em aprender sobre os usos e benefícios do M&A e em adotar uma abordagem mais sistemática de M&A em seus governos.

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

AGoSTo 20102 PREMNoTE

Há muitos tipos de ferramentas e abordagens de M&A, cada um com suas vantagens e limitações. Este artigo apresenta quatro exemplos de bons sistemas de M&A do governo—tanto em países desenvolvidos quanto em desenvolvimento—e discute algumas das difíceis lições aprendidas na construção dos sistemas de M&A. As lições mostram o que funciona e o que não funciona no desenvolvimento e na sustentação de bons sistemas de M&A.

Os sistemas de M&A do governo se concen-tram em medir os resultados produzidos pelo governo - seus produtos, resultados e impactos. O sistema de M&A pode existir em nível de agência, de todo um setor, ou do governo como um todo. O M&A pode fornecer informações únicas sobre o desempenho das políticas, dos programas e dos projetos do governo em nível nacional, setorial e subnacional. Ele pode identificar o que funciona,

o que não funciona e por quê. O M&A também oferece informações sobre o desempenho do gov-erno, de cada ministério e agência, assim como dos gestores e de seus funcionários. Enfatizar os exemplos de boa prática e má prática pode ajudar a melhorar o desempenho.

Três características que definem bons sistemas de M&A são: 1. Uso intensivo da informação de M&A em um

ou mais estágios do ciclo da política;2. A informação atender aos padrões de quali-

dade de dados e confiabilidade da avaliação;3. Sustentabilidade: o sistema sobreviverá a uma

mudança na administração, os ministros do governo ou em funcionários do alto escalão.

Talvez a melhor forma de entender a potencial contribuição do M&A para um sólido governo seja vê-lo em diferentes partes do ciclo da política (figura 1). Os estágios iniciais do processo de

Rever a PolíticaRever o período anterior de planejamento e Orçamento

Avaliar e AuditarA eficiência e eficácia das

atividade

Monitorar as Atividades e Prestar contas

dos gastos

Implementar e Gerenciar as Atividades

Planejadas

Preparar o orçamento

Alocar recursos

Desenvolver Política e Começar o Planejamento

Estabelecer objetivos, políticas, estratégias e prioridades

Figura 1. O Ciclo da Política: Criando Vínculos entre Política, Planeja-mento, Orçamento, Gestão e M&A

Fonte: Adaptado do Banco Mundial (1998).

AGoSTo 2010 PREMNoTE 3

política—a análise e o desenvolvimento da política do governo e o planejamento de prioridades e es-tratégias, inclusive sobre a consistência destas com o objetivo de redução da pobreza—se beneficiam da evidência do que funcionou ou não no passado. Em outras palavras, a formulação de política com base em evidência. É importante que os governos considerem com atenção o que querem obter com suas políticas, e que façam um planejamento para tanto. Assim, ele ajuda a esclarecer, para cada programa possível, como será o sucesso e como o governo saberá se conseguiu (ou não) alcançá-lo. Ele ajuda, também, a esclarecer quais são os poten-ciais efeitos das políticas e dos programas sobre a pobreza e a distribuição. Assim, estabelecer metas de desempenho e medir o progresso em direção à realização destas é uma parte importante do planejamento e da revisão da política do governo.

A informação sobre o desempenho dos pro-gramas atuais do governo e sobre o desempenho esperado dos novos programas é importante para o próximo estágio do ciclo da política: a decisão sobre orçamento e a alocação de recursos dentro deste. A informação de M&A, especialmente os re-sultados da avaliação que explicam o desempenho passado, ajuda a orientar as decisões do governo, de modo que o conjunto de políticas e programas com maior eficiência de custo seja adotado no orçamento anual.

No próximo estágio do ciclo de política—a implementação de gestão das atividades financia-das pelo orçamento—o M&A ajuda os gestores a monitorarem suas atividades, inclusive a presta-ção de serviço e a gestão dos funcionários. Desta forma, eles podem perceber rapidamente o que está funcionando e o que não está, por exemplo, em termos de produtos esperados, resultados es-perados, ou mesmo de objetivos de mais alto nível, como aumento do bem-estar. Os indicadores de desempenho podem ser usados para comparações de custo e desempenho—marco de referência de desempenho—entre diferentes unidades admin-istrativas, regiões e bairros. O monitoramento contínuo dessas atividades—inclusive gastos, processos, produtos, resultados e impactos—é especialmente importante. As comparações feitas ao longo do tempo podem ajudar a identificar práticas boas, ruins e promissoras. As avaliações ou revisões podem identificar os motivos para este bom ou mau desempenho. Esta é a função de aprendizagem do M&A, geralmente chamada de gestão com base em resultados.

Os estágios finais do ciclo de política incluem as relações de prestação de contas. O M&A mostra até que ponto o governo alcançou seus objetivos e, portanto, oferece a evidência necessária para garantir uma forte prestação de contas, do governo para o Congresso ou Parlamento, para a sociedade civil e os doadores. O M&A também apoia rela-ções de prestação de contas dentro do governo como, por exemplo, entre ministérios setoriais e os ministérios centrais, entre as agências e seu ministério setorial, e entre ministérios, gerentes e funcionários. Uma sólida prestação de contas pode oferecer os incentivos necessários para melhorar o desempenho.

O M&A também pode desempenhar um papel nos esforços anticorrupção. Ele pode ajudar a iden-tificar “vazamentos” no financiamento do governo, assim como algumas das possíveis manifestações de corrupção, como quando o gasto do governo não se reflete na qualidade física da infraestrutura ou no volume e na qualidade dos serviços presta-dos pelo governo.

O que é M&A? Para alguns funcionários de alto cargo e o pessoal do doador, o M&A pode parecer um tema altamente técnico, com técnicas que, à primeira vista, podem ser difíceis de serem entendidas por leigos. Para piorar as coisas, o M&A contém muitos jargões e terminologias que são confusos para quem não é da área. Às vezes a frase “M&A” é identificada com ferramentas específicas e tem diferentes significa-dos para diferentes pessoas. Os debates técnicos e semânticos não importam para os leitores desta série. O que importa é o uso adequado das princi-pais ferramentas de M&A e as técnicas que podem medir o desempenho dos programas do governo de diferentes formas. Entre as ferramentas mais utilizadas, podemos citar os indicadores de desem-penho, avaliações rápidas, avaliações de impacto e revisões abrangentes de gastos. Um próximo artigo nesta série discutirá as ferramentas de M&A.

Para o M&A, Como se Parece um Sistema de Governo? A maioria dos governos tem sistemas de dados para medir seus gastos, processo e produtos. Mas isso não é o mesmo que um sistema para monitorar e avaliar o desempenho de todos os seus programas. O número de governos que possuem esses sistemas é muito menor. Esses sistemas envolvem a coleta reg-

AGoSTo 20104 PREMNoTE

ular e sistemática e o uso da informação de M&A. Um sistema de M&A pode existir em nível de uma agência, ou de todo um setor, ou para o governo como um todo. Os sistemas de M&A do governo se concentram em medir os resultados produzidos pelo governo - seus produtos, resultados e impactos.

Felizmente há vários exemplos convincentes e bem documentados de governos que devotaram o esforço necessário para construir sistemas de M&A de alto desempenho. Quatro países com sistemas bem documentados e analisados de M&A, que podem ser citados como exemplo, são: Austrália, Chile, Colômbia e os Estados Unidos (veja o quadro 1). Cada um desses quatro governos faz um uso intenso de suas informações de M&A. Outras características comuns incluem um ministério central poderoso, com um papel de liderança no sistema de M&A (como o ministério da fazenda ou do planejamento) e, consequentemente, uma ênfase no uso da informação de M&A para apoiar o processo orçamentário. No entanto, a eficiência destes sistemas no apoio ao uso da informação de M&A para a gestão contínua do programa é menos conhecida e documentada.

É importante ressaltar as diferenças entre es-ses quatro exemplos de M&A. Diferentes países enfatizam diferentes ferramentas e técnicas de M&A. Alguns contam muito com os dados de monitoramento, enquanto outros se baseiam nas avaliações de revisões de vários tipos. Alguns países contam com sistemas de M&A extensos (e caros), enquanto outros têm sistemas mais simplificados e menos caros.

Não há uma resposta simples para a pergunta: como é um bom sistema de M&A? Ao contrário, tudo depende de fatores específicos do país como: demanda do governo por informações de M&A; o uso que será feito da informação; a disponibilidade e qualidade dos dados existentes sobre o governo; a habilidade dos funcionários e consultores para realizar avaliações e analisar a informação de M&A; e o montante que o governo está preparado para gastar com M&A.

As Três Características que Definem Bons Sistemas de M&AUm “bom” sistema de M&A tem três característi-cas que o definem. A primeira é uma utilização intensa da informação de M&A fornecida pelo sistema em um ou mais dos estágios do ciclo de política discutidos anteriormente. Pode parecer

lugar comum argumentar que a informação de M&A só deve ser coletada se ela for usada, mas a maioria dos avaliadores nos governos (e nas agências doadoras) sabe muito pouco até que ponto a informação de M&A que eles produzem é realmente usada pelos outros. Se a informação de M&A não estiver sendo utilizada, então é preciso descobrir os motivos. É porque a informação de M&A é considerada de baixa qualidade, ou não é oportuna, ou porque as avaliações não abordaram as questões mais importantes em relação ao des-empenho do programa? Ou é porque os usuários potenciais no governo, como os ministérios da fazenda ou do planejamento, não têm as habi-lidades nem o interesse em usar essa informação em seu trabalho?

A informação confiável e de qualidade é outra característica dos bons sistemas de M&A. Há vários padrões para definir o que são dados de monitoramento e avaliações de qualidade, que podem ser usados para analisar a confiabilidade da informação que qualquer sistema de M&A produz. A maioria dos departamentos de avaliação do governo conta com algum tipo de mecanismo de controle de qualidade. No entanto, a maioria não realiza ou encomenda revisões formais da qualidade de seu trabalho. Três dos quatro países em destaque no quadro 1 realizaram essas revisões: Austrália, Chile e Colômbia.

A terceira característica de um bom sistema de M&A é a sustentabilidade. A sustentabilidade tem a ver com a probabilidade de o sistema de M&A sobreviver a uma mudança na adminis-tração ou nos ministros ou altos funcionários do governo. Quando a utilização da informação de M&A está solidamente embutida, ou seja, incorporada, aos principais processos do governo como ciclo do orçamento, pode-se dizer que ela está institucionalizada e, portanto, provavelmente será sustentável ao longo do tempo. Por outro lado, quando o M&A tem poucos partidários ou não é muito usado, ou é mais financiado pelos doadores do que pelo próprio governo, a sustentabilidade é menos provável.

Construindo um Sistema de M&A do Governo—O que Fazer e O que Não FazerMuitos países desenvolvidos e em desenvolvi-mento acumularam uma experiência significa-tiva na construção de sistemas de M&A. Como

AGoSTo 2010 PREMNoTE 5

acontece com qualquer forma de capacitação, há várias lições aprendidas a duras penas sobre o que funciona melhor e o que não funciona (discutido em mais detalhes em Mackay [2007]). A seguir, discutimos oito lições principais.

Lição 1: Em primeiro lugar e acima de tudo está a necessidade de uma demanda substan-cial do governo por informações de M&A. Esta demanda é necessária se quisermos iniciar ou manter um esforço sério de construção de um sistema de M&A. A construção de um sistema de M&A demanda grandes esforços, inclusive a criação ou melhoria dos sistemas de dados, como decisões sobre os tipos de dados a serem coleta-dos, métodos de coleta de dados, armazenagem,

controle de qualidade e transmissão. Outros componentes do sistema de M&A que também são importantes são: treinamento de analistas estatísticos; escolha das ferramentas e técnicas de avaliação e adaptação destas às circunstâncias e prioridades locais; treinamento de avaliadores e desenvolvimento de consultores nacionais em avaliação; criação de departamentos de M&A em um ministério líder e, talvez, em alguns ou todos os ministérios setoriais; treinamento dos usuários da informação de M&A - analistas de nível médio, altos funcionários nos ministérios centrais e seto-riais e, possivelmente, seus ministros; e a criação da infraestrutura burocrática para decidir quais programas do governo devem ser avaliados e quais

Quadro 1. Quatro Exemplos de Sistemas de M&A de Governo Bem Sucedidos

Austrália: O sistema de avaliação do governo foi gerenciado pelo Departamento de Finanças (DoF) e foi necessário que os ministérios avaliassem todos os programas a cada três a cinco anos. As avaliações foram realizadas pelos próprios ministérios de operações, mas foram super-visionadas pelo DoF e outros departamentos centrais. Em 1954, quase 80% das novas propostas de gastos no processo orçamentário se baseavam nas conclusões da avaliação, geralmente em nível significativo. Os funcionários do DoF que participaram das reuniões que analisaram essas propostas de orçamento, consideram que esta informação teve enorme influência na to-mada de decisão orçamentária do Gabinete. O Tribunal de Contas da Austrália concluiu que os departamentos operacionais faziam grande uso dessa informação, principalmente para ajudar a melhorar a eficiência operacional.

Chile: O Ministério da Fazenda (MoF) encomenda a avaliação para acadêmicos e firmas de consultoria, usando termos de referência padronizados e metodologias para cada tipo de aval-iação que usa. Os funcionários do MoF usam muito as conclusões do M&A em sua análise de orçamento do desempenho de cada ministério e agência. O ministério também usa a informa-ção para criar metas de desempenho para cada agência e pra impor melhorias na gestão dos ministérios e das agências. O MoF realiza uma supervisão cuidadosa de até que ponto cada ministério implementa essas melhorias de gestão.

Colômbia: O sistema de M&A do governo, SINERGIA, é gerenciado pelo Departamento de Planejamento Nacional. O sistema inclui informações para 500 indicadores de desempenho, as-sim como várias avaliações rápidas de impacto. O presidente tem usado a informação prestada pelo SINERGIA em suas reuniões mensais de controle de gestão com cada ministro, assim como em sua reunião semanal com a Câmara Municipal dos municípios do país.

Estados Unidos: Em 2002, o governo criou a Ferramenta de Classificação de Avaliação do Programa (PART), com base em esforços anteriores para medir o desempenho do governo. O desempenho de todos os 1.000 programas do governo recebeu uma nota, usando a metodo-logia do PART. Os departamentos devem usar as notas PART em suas solicitações anuais de orçamento ao OMB.

Os departamentos devem usar as notas PART em suas solicitações anuais de orçamento ao OMB. As solicitações devem enfatizar as notas PART, as recomendações de melhoria no desem-penho do programa e as metas do programa. O OMB, por sua vez, também usa as notas PART ao preparar as solicitações de fundos da administração a serem submetidas ao Congresso, e para impor exigências de melhoria de desempenho nos departamentos.Fonte: Mackay 2007.

AGoSTo 20106 PREMNoTE

as questões a serem abordadas em cada avaliação. Francamente, este esforço não tem o menor valor, a menos que a informação resultante do M&A tenha a possibilidade de ser usada intensamente.

Lição 2: Os incentivos são uma parte impor-tante pelo lado da demanda, que requer grandes incentivos para a realização do M&A e para a utilização da informação. Os peritos em M&A geralmente cometem um erro básico ao afirmar que a informação de M&A é intrinsecamente uma “coisa boa” e que se a informação for disponibili-zada, ela será automaticamente usada. Esta visão tecnocrata que o M&A tem um mérito inerente é ingênua. A informação de M&A só tem valor se for confiável e se for usada intensamente.

Nem sempre—e nem com regularidade—a uti-lização acontece por acaso. É necessário haver in-centivos para que a informação de M&A seja usada pelos gestores de programa em seu trabalho diário, pelos funcionários de orçamento e planejamento responsáveis por assessorar as opções políticas, ou por um Congresso ou Parlamento responsável pela supervisão da prestação de contas.

Há três tipos de incentivos: cenouras, chicotes e sermões. 2 Um exemplo de uma cenoura é dar maior autonomia aos gerentes que demonstrarem (através de informação de M&A confiável) que seus programas estão tendo um bom desempenho. Um exemplo de chicote é estabelecer metas de desempenho desafiadoras (mas realistas), que cada ministério e gerente de programa deve cumprir. Um exemplo de um sermão é uma declaração de alto nível de apoio ao M&A, como de um Presidente ou de um Ministro influente. Muitos desses incentivos têm sido aplicados com sucesso na construção de sistemas de M&A em países desenvolvidos e em desenvolvimento.

Lição 3: É bom começar com um diag-nóstico de quais funções de M&A já existem no país—no governo, na academia e na comunidade consultora. O diagnóstico deve identificar os pontos fortes e fracos do que existe tanto do lado da demanda quanto da oferta. Um diagnóstico é, na verdade, um tipo de avaliação e o simples processo de realizá-lo apresenta uma oportuni-dade para as partes interessadas do governo se familiarizarem com o M&A e seus potenciais benefícios para o governo. Um diagnóstico natu-ralmente leva a um plano de ação para fortalecer o M&A, que pode facilitar uma coalizão de apoio por parte dos ministérios setoriais interessados e da comunidade doadora.

Lição 4: Outra dimensão do lado da de-manda é a necessidade de um forte defensor, um ministro influente ou um alto funcionário capaz de liderar o movimento para institucionalizar o M&A, persuadir os colegas sobre sua importância e alocar recursos significativos para a criação de um sistema de M&A que abranja todo o governo. Os líderes do governo têm desempenhado papéis centrais em alguns dos sistemas de M&A mais bem sucedidos.

A confiança em uma lei, decreto ou decisão do gabinete para institucionalizar um sistema de M&A já não é um sucesso tão grande. Essa aborda-gem pode ajudar a legitimar um sistema de M&A, especialmente nos países onde a presença de um instrumento legal é considerada necessária para que qualquer reforma do governo seja considerada válida e seja levada a sério. Mas uma lei ou um decreto sozinhos não garantem que os grandes esforços necessários para construir um sistema de M&A sejam realizados e mantidos.

Lição 5: Outra característica comum dos siste-mas bem sucedidos de M&A é a administração por um ministério capaz, que possa fazer o desenho, desenvolver e gerenciar o sistema. Portanto, é recomendável que a liderança institucional do sistema de M&A esteja perto do centro de um governo, como na Casa Civil ou nos ministérios da fazenda ou do planejamento.

Um papel deste líder institucional é analisar continuamente o nível de progresso no desen-volvimento do sistema de M&A, fazendo os ajustes necessários a seu plano de ação. As dificuldades e barreiras são inevitáveis. Por isso é importante identificar o que está funcionando, o que não está, e o por que. As revisões regulares de progresso dão a oportunidade de analisar tanto o lado da demanda quanto da oferta do sistema de M&A. Na realidade, a maioria dos países com sistemas de M&A com bom desempenho não os desenvolv-eram de forma linear, ou seja, começando com um claro entendimento de como o sistema se pareceria depois de totalmente maduro e depois realizando essa visão progressivamente. Pelo contrário. Os sistemas de M&A dos países geralmente são desen-volvidos de forma incremental, e mesmo de uma forma gradual e oportunista, com alguns falsos pontos de partida e becos escuros no caminho. 3

Lição 6: Um erro comum depois de o M&A ser entusiasticamente abraçado é tornar o sistema de M&A excessivamente complexo. Isso fica evidente no grande número de indicadores

de desempenho que são coletados. A excessiva complexidade também pode resultar na prolif-eração de sistemas de dados do ministério, que geralmente não são coordenados sequer dentro de cada ministério. O problema se multiplica se houver vários sistemas para todo o governo, que podem ser gerenciados por diferentes ministérios centrais e também podem precisar de informa-ções relacionadas (mas diferentes) por parte dos ministérios setoriais e agências. No México, por exemplo, a agência de desenvolvimento social (SEDESOL) tem oito sistemas de informação de gestão diferentes, que não são coordenados. Nos últimos anos em Uganda o governo tinha que coordenar até 16 sistemas separados de setor e sub-setor.

Isto posto, há o real valor de construir sistemas de dados confiáveis do ministério: eles oferecem os dados brutos dos quais o sistema de M&A para todo o governo depende. Uma auditoria dos sistemas de dados e um diagnóstico das capacidades de dados podem ser úteis nessa situação, porque eles podem oferecer uma base para a racionalização das coletas de dados existentes e para melhorar sua qualidade.

Lição 7: Não é de surpreender que a con-strução de um sistema de M&A geralmente inclua o treinamento em uma grande variedade de fer-ramentas, métodos, abordagens e conceitos de M&A. É necessário contar com funcionários ou consultores bem treinados, com grandes competên-cias em M&A. No entanto, o treinamento deve oferecer mais do que competências em M&A. Os altos funcionários devem entender os pontos fortes e as limitações—a eficiência de custo relativa—dos diversos tipos de ferramentas e técnicas de M&A. O treinamento introdutório pode conscientizar sobre a informação de M&A, assim como demandá-la. O treinamento também deveria cobrir o uso dos resul-tados do M&A. Os analistas de orçamento, analistas de pobreza e gerentes de programa precisam ser capazes de interpretar os dados de monitoramento e entender as tendências, as definições de dados, as interrupções nas séries históricas de dados, e assim por diante. Eles também precisam ser con-sumidores exigentes, capazes de dizer quando uma avaliação é confiável e quando sua metodologia ou suas conclusões são questionáveis.

Lição 8: Uma lição final é que é necessário um esforço em longo prazo, com paciência e deter-minação, para construir um sistema de M&A efici-ente. Leva tempo para criar ou fortalecer os siste-mas de dados; para recrutar e treinar funcionários

qualificados; para planejar, realizar e gerenciar as avaliações; e para treinar os funcionários para que eles usem o M&A em seu trabalho diário, se este envolver operações de programa ou análise e asses-soria política. A Austrália e o Chile conseguiram criar sistemas de M&A que levam de quatro a cinco anos para começarem a funcionar bem em termos de qualidade, número e utilização de avaliações. A Colômbia, porém, levou mais de uma década.

ConclusõesUm número cada vez maior de países em desen-volvimento tem conseguido construir sistemas de M&A do governo. Eles se miram nos exemplos de países desenvolvidos, especialmente membros da OCDE, mas cada vez mais buscam por seus pares: países como o Chile, a Colômbia e o México. Esses países criaram sistemas de M&A que fun-cionam bem, onde as conclusões do M&A que são produzidas são usadas intensivamente. Esses países demonstraram não somente que é possível construir um sistema de M&A do governo, mas que os sistemas também são muito apreciados pelos governos.

Tomara que este breve artigo e os futuros arti-gos desta série consigam atrair o interesse dos altos funcionários nos países em desenvolvimento e os levem a analisar em profundidade se seu governo deve devotar tempo e esforços para construir um sistema destes. A comunidade doadora—inclusive o Banco Mundial—está pronta para apoiá-los neste trabalho.

Sobre o AutorKeith Mackay se aposentou do Banco Mundial em 2008 e agora trabalha com consultor. Ele foi Ofi-cial Chefe de Avaliação no Grupo Independente de Avaliação do Banco, prestando assessoria técnica e outros apoios aos países que trabalham para for-talecer seus sistemas de M&A com parte de uma sólida governança. Antes de entrar para o Banco em 1997, ele foi gerente do sistema de avaliação integral do governo da Austrália. Ele tem mais de 60 publicações sobre sistemas de M&A.

Notas de fim de página1. Este artigo se beneficiou dos comentários de Gladys Lopez-Acevedo, Nidhi Khattri, Jaime Saavedra e Helena Hwang. Os pontos de vista expressos neste artigo são do autor.

AGoSTo 20108 PREMNoTE

Esta série de notas destina-se a resumir as boas práticas e os resultados importantes encontrados nos tópicos relacionados ao PREM. Os pontos de vista expressos nas notas são de responsabilidade dos autores e não refletem, necessariamente, o ponto de vista do Banco Mundial. As Notas (PREMnotes) são amplamente distribuídos aos funcionários do Banco e também estão disponíveis no site do PREM (http://www.worldbank.org /prem). Se você estiver interessado em escrever uma “PREMnote”, envie a sua idéia para Sra. Madjiguene Seck no endereço mseck@worldbank.org. Para obter cópias adicio-nais dos PREMnotes entre em contato com o serviço de consultoria do PREM no telefone x87736.

Esta série é para a divulgação externa e interna

2. Mackay (2007, capítulo 11) apresenta uma longa lista de incentivos de M&A.3. Mackay (2007) discute os motivos com mais detalhes.

ReferênciasIEG (Grupo Independente de Avaliação). 2.004a.

Influential Evaluations: Evaluations That Im-proved Performance and Impacts of Development Programs. Banco Mundial, Washington DC.

———. 2004b. Monitoring and Evaluation: Some Tools, Methods and Approaches, 2a edição. Banco Mundial, Washington DC.

Lopez Acevedo, Gladys, Katia Rivera, Lycia Lima, e Helena Hwang, eds. 2010. Challenges in

Monitoring and Evaluation: An Opportunity to Institutionalize M&A Systems. Banco Mundial e Banco Interamericano de Desenvolvimento, Washington, DC.

Mackay, Keith. 2007. How to Build M&A Systems to Support Better Government. Washington, DC: Banco Mundial.

Banco Mundial. 1998. Public Expenditure Man-agement Handbook. Washington, DC: Banco Mundial.

Sítios do Banco Mundialwww.worldbank.org/poverty

www.worldbank.org/lacmonitoringandevaluation

www.worldbank.org/ieg/ecd