http://www.eclac.org/ilpes/noticias/paginas/8/22308/BoletinILPES13NewTraduzido.doc

OS INDICADORES DE AVALIAÇÃO DO DESEMPENHO: UMA FERRAMENTA PARA A GESTÃO POR RESULTADOS NA AMÉRICA LATINA

INSTITUTO LATINOAMERICANO Y DEL CARIBE DEPLANIFICACIÓN ECONÓMICA Y SOCIAL

LIMITADALC/IP/L.Novembro de 2003ORIGINAL: ESPAÑOL

BOLETIM DO INSTITUTO

Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) é um. organismo permanente e com identidade própria, dentro da CEPAL, Nacões Unidas. Foi fundado em 1962 e sua missão é apoiar aos governos da região no campo do planejamento e gestão pública, mediante a prestação de serviços de capacitação e cooperação técnica.

INSTITUTO LATINOAMERICANO Y DEL CARIBE DE PLANIFICACIÓN ECONÓMICA Y SOCIAL (ILPES)

Edificio Naciones UnidasAv. Dag Hammarskjöld VitacuraSantiago, ChileCasilla 1567Teléfonos (56-2) 210 2506 y(56-2) 210 2507Fax (56-2) 206 6104(56-2) 208 0252(56-2) 208 1946

Dirección del ILPES en Internet: http://www.ilpes.orghttp://www.ilpes.cl

OS INDICADORES DE AVALIAÇÃO DO DESEMPENHO: UMA FERRAMENTA PARA A GESTÃO POR RESULTADOS NA AMÉRICA LATINAÍNDICE

Apresentação

I. IntroduçãoII. Bases Conceituais dos Indicadores de Avaliacão do DesempenhoA. O que é um Indicador de Avaliacão do Desempenho ?B. Os Indicadores de Avaliacão do Desempenho : uma Necesidade para a Gestão por ResultadosC. Os problemas de medição e disponibilidade de informaçãoIII. AConstrução de Indicadores na PráticaA. Condições prévias para a construção de indicadores de desempenhoB. Plano Operativo para a construção de indicadores de desempenhoC. As Dimensões da Avaliacão do DesempenhoD. A integração das distintas dimensões de Avaliacão do DesempenhoIV. Desafíos de implementação da gestão pública orientada para os resultadosA. Ambiguidade na definição da missão organizacionalB. O impacto no processo orçamentárioC. Ausencia de um enfoque de largo prazo na gestão por resultadosD. Escassez de mecanismos de participação cidadã a favor da gestão por resultadosE. Os Problemas de CausalidadeF. A avaliação de funcionarios e seu vínculo com os sistemas de compensaçãoG. Institucionalização da função de avaliação de resultadosV. Reflexões FinaisVI. Bibliografía

APRESENTAÇÃO

O tema das políticas orçamentárias tem e ganhará crescente relevância nas preocupações dos governos, como o demonstra a grande quantidade de reformas já realizadas e as que estão em curso. Estas reformas respondem, por um lado, às necessidades da gestão macroeconômica e, por outro, às demandas da cidadania de maior eficácia, eficiência e transparência na condução dos assuntos públicos. As reformas envolvem um conjunto amplo de medidas que tendem a reforçar-se entre si como são, por exemplo: a concertação estratégica em torno de visões prospectivas, que permitam construir o futuro como alternativa válida aos processos de planejamento mais tradicionais e estabelecer pactos fiscais que fundamentem a ação pública; a gestão orçamentária para o ciclo econômico em seu conjunto, diferenciando entre fatores de caráter permanente e transitório; a análise sobre a totalidade do ciclo das políticas públicas, abarcando os momentos de desenho, acompanhamento da execução e avaliação de seus resultados tanto em termos de eficácia como de eficiencia e rendimento; e a maior transparencia face à cidadanía, incluindo diversas modalidades de participação social.

Na orçamentação moderna, a disciplina na gestão dos agregados fiscais deve ser complementada com a efetividade na alocação de recursos e a eficiência operacional na entrega de serviços. As maiores interdependencias e sinergias se geram nas reformas que afetam as inércias da distribuição de recursos, intersetorial e intrasetorialmente, assim como nas inovações da gestão pública que atuam no plano

microeconômico. Neste marco, surge a necessidade de uma prática gerencial que seja parte de uma cultura de desempenho centrada nos resultados e que se oriente em beneficio direto do cidadão, com alto grau de compromisso de cumprimento e esquemas apropriados de incentivos e avaliação. Esta gestão pública renovada parte do reconhecimento dos direitos que têm os cidadãos como contribuintes e usuários dos serviços.

Lograr que a gestão do setor público seja mais eficiente e comprometida com os resultados certamente representa uma tarefa de envergadura que requer o desenho de políticas, de linhas de ação e da mobilização dos recursos humanos e materiais do aparato público. Porém, junto com isso, deve existir a vontade política que situe o tema como um dos instrumentos do processo de redesenho do Estado, um processo que, para que possa dar seus frutos forçosamente deverá transcender mais além do curto ou médio prazo.

Neste contexto geral, o Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) vem realizando diversas atividades relativas à gestão por resultados entre as quais cabe destacar:

• A XI Conferencia de Ministros y Jefes de Planificación de América Latina y el Caribe (Madrid, España, 6 de novembro 2002), que contemplou em sua agenda como tema central as “Nuevas tendencias de la gestión pública”. Com este fim, o ILPES preparou, entre outras coisas, um documento sobre avaliação de programas, medição de resultados e convenios de desempenho ; dando também resposta à Resolução MD/CRP/XXI.03 adotada pelos países membros na XXI reunião da Mesa Diretiva del Consejo Regional de Planificación (Brasilia, Brasil; 8 de maio 2002);

• A Primeira Reunião de Responsáveis por Orçamento de América Latina e do Caribe (Santiago, Chile; 29 janeiro 2003) , realizada no marco do XV Seminario Regional de Política Fiscal (Santiago, Chile; 27-30 de janeiro 2003). A respeito se preparou um documento intitulado “Gestión pública por resultados y programación plurianual” (Serie seminarios y conferencias Nº 29, LC/IP/L.1949-P, LC/IP/L.230; agosto 2003) que compila a versão revisada dos trabalhos sobre gestão por resultados e programação plurianual apresentados em dita reunião.

Assim, foram realizados diversas assessorias, cursos de capacitação e ações de cooperação técnica para a instrumentalização de sistemas de indicadores de avaliação de desempenho nas distintas esferas de governo dos países da região

Todas estas atividades buscam contribuir ao objetivo de que o Estado se converta em uma organização eficiente, eficaz e com uma arraigada cultura de serviço público, encaminhada a satisfazer cabalmente as legítimas demandas da sociedade. Neste sentido, se espera que este novo número do Boletím, que examina o tema dos indicadores de avaliação de desempenho como ferramenta para a gestão por resultados nos países da região, seja um modesto aporte ao conjunto de estudos e investigações já disponíveis na literatura.

Direção do ILPESNovembro 2003

Os indicadores de avaliação de desempenho: uma ferramenta para a gestão por resultados na América Latina

I. INTRODUÇÃO

As recomendações de políticas econômicas do Consenso de Washington marcaram a agenda de reformas na América Latina durante a primeira metade da década de noventa. Estas fórmulas davam ênfase nas mudanças institucionais que se relacionam com a disciplina fiscal, a reforma fiscal e impositiva, a reorientação do gasto público face à saúde e à educação, as privatizações de empresas públicas e a desregulação dos mercados. Sem dúvida, a evidência empírica demonstra que as iniciativas implementadas até meados dos anos noventa se centraram no restabelecimento dos equilibrios macroeconômicos e a reestruturação de incentivos de mercado e preços relativos. As reformas desenvolvidas não afetaram substancialmente a institucionalidade estatal, com a exceção daquelas que afetaram às empresas públicas, quer seja pela via das privatizações ou pela busca de una maior eficiência e eficácia nas empresas que continuaram no âmbito estatal (Haggard, 1995).O processo de reformas logrou reduzir o déficit fiscal medio da região de 2.2% do PIB em 1990 a 1.1% em 1997 , porém subsistiram na maioría dos países latinoamericanos altos níveis de pobreza e de desigualdade social. Neste contexto, em 1998 a CEPAL propôs, através do Pacto Fiscal, um redirecionamento das reformas do Estado enfatizando o desenvolvimento institucional e o fortalecimento da governabilidade. Também outras institucições, como o Banco Mundial, começaram a revalorar o papel das instituições estatais no desenvolvimento e a relativizar a importância das "falhas de mercado" em comparação às "falhas institucionais".A nivel político estas propostas se formalizam durante a Cumbre de las Américas de 1998, denominado Consenso de Santiago (o neo-Consenso de Washington). Este conjunto de proposições estabelece que as debilidades institucionais constituem um gargalo de grarafa para transformações econômicas mais profundas, reafirmando-se que a qualidade do gasto público é tão importante como o balanço fiscal. Deste modo, a preocupação pelo funcionamiento do aparato estatal voltou a estar no centro do debate. A reforma do Estado na América Latina tem sido enfrentada durante a última década pelos diferentes governos por meio de una série de processos de modernização administrativa do aparato estatal. Se ha detectado a necessidade de realizar uma auténtica e mais acelerada transição desde um modelo de gestão burocrático-tradicional a um modelo de gestão pública orientada aos resultados. O modelo de gestão burocrático-tradicional se caracterizava por uma ênfase nos insumos do processo e no controle externo. O novo modelo de gestão orientada aos resultados se enfoca nos impactos da ação pública, onde o relevante são os resultados, as metas, os indicadores de desempenho e os padrões. Ademais, este novo enfoque insiste nas dimensões de caráter mais qualitativas da gestão. A título de exemplo, já não interessa somente aumentar a cobertura escolar, senão que se incorpore o tema da qualidade da educação repassada pelo Estado. O modelo de gestão orientado aos

resultados assume que os próprios cidadãos interessados possam avaliar a qualidade, quantidade e oportunidade dos bens e serviços recebidos, razão pela qual em alguns programas se incorpora a avaliação de resultados por parte dos destinatários ou atores interessados (stakeholders) .Para avançar nesta transição de modelos de gestião pública se tem experimentado nos distintos governos com uma série de instrumentos de melhoria da gestão e innovações gerenciais . Por seu baixo custo e rapidez de aplicação, uma das ferramentas mais utilizadas nos governos da região têm sido os programas de indicadores de avaliação do desempenho ou indicadores de gestão. A incorporação eficaz desta ferramenta ao aparato público traz uma série de problemas e desafíos estratégicos que é preciso analisar, tanto na fase de desenho como na fase de implementação e avaliação dos mesmos. Este documento tem por objetivo sistematizar as principais reflexões teóricas e avaliações empíricas que têm surgido nos últimos dez anos sobre o uso dos indicadores de avaliação do desempenho.As primeiras duas seções abordam os aspectos operativos que estão envolvidos na construção do sistema de indicadores, com particular ênfase nos problemas que têm afetado aos países da América Latina que têm desenvolvido as experiências de maior extensão no tempo. A terceira seção deste documento analisa os principais desafíos que estão surgindo para o desenho e desenvolvimento de um sistema de indicadores de avaliação do desempenho.

II. BASES CONCEITUAIS DOS INDICADORES DE AVALIAÇÃO DO DESEMPENHO

A avaliação de desempenho tem recrutado especialistas de distintas disciplinas, os quais têm dessenvolvido esta área com enfoques marcados por sua formación inicial: economistas (que tradicionalmente têm se centrado na avaliação de projetos), avaliadores de programas (que típicamente possuem uma formação em ciencias sociais) e auditores (que enfatizam no cumprimento de padrões e normas). O que em principio pode parecer um notável trabalho interdisciplinar, na prática tem significado que se usam distintos conceitos, quase sempre com similar ou inclusive idêntico vocabulário. Esta situação há gerado confusão e grande discussão em torno dos significados precisos de cada termo (Mackay, 1998). Para enfrentar esta virtual “Torre de Babel”, se faz necessário alcançar um acordo mínimo operacional que precise conceitualmente o que se entende por indicadores de avaliação de desempenho, qual é seu âmbito de aplicação e principais características. As seções seguintes se concentram nesta tarefa.A. Qué é um Indicador de Avaliação de Desempenho?Caso se analise a experiencia de países de América Latina e países membros da Organização de Cooperação e Desenvolvimento Econômico (OCDE) que utilizam indicadores em seus setores públicos se pode encontrar distintas denominações tais como indicadores de gestão, indicadores de desempenho, indicadores chaves de êxito e indicadores de controle. Neste documento se há considerado como mais apropriada a expressão “indicador de avaliação de desempenho”. Na administração pública o desempenho é um conceito relativamente novo. Segundo a Real Academia Espanhola o desempenho se refere a “atuar, trabalhar, dedicar-se a uma atividade”, o qual nos dá uma idéia básica,

porém que requer uma elaboração conceitual mais ampla para o âmbito da gestão pública. Tal desenvolvimento frequentemente se há assimilado ao conceito anglosaxão de government performance, o qual se refere a “produtividade, qualidade, oportunidade, responsabilidade e eficácia” dos serviços e programas públicos . Dado que a gestão pública implica o atuar ou dedicar-se às responsabilidades gerenciais, então o desempenho envolve os aspectos organizacionais e sua relação com o entorno como o descreve Hernández (2002): “desempenho implica a consideração de um processo organizacional, dinâmico no tempo e reflete modificações do entorno organizativo, das estruturas de poder e os objetivos”.O conceito de desempenho no âmbito governamental normalmente compreende tanto a eficiência como a eficácia de uma atividade de caráter recorrente ou de um projeto específico. Neste contexto a eficiência se refere à habilidade para desenvolver uma atividade ao mínimo custo possivel, enquanto que a eficácia mede se os objetivos predefinidos para a atividade se estão cumprindo. Além destas duas dimensões de desempenho público, recentemente foram incorporados os critérios de desempenho preorçamentário, focalização e qualidade na prestação dos serviços públicos.Para avaliar o desempenho nos termos descritos anteriormente, foi desenvolvida uma grande quantidade de ferramentas metodológicas, porém seu uso pode conduzir a confusões dado que distintos autores e experts utilizam diferentes terminologias para referir-se a métodos similares.O campo acadêmico da avaliação de desempenho incluiu dentro da “avaliação de desempenho” distintos instrumentos tais como: Informação de monitoramento e acompanhamento; Avaliação de projetos e programas (tipo ex-ante, de acompanhamento físico-financeiro ou ex-post); Auditoria de desempenho e Auditoria financeira.A amplitude destas metodologías se pode observar por exemplo em uma base de dados de práticas e procedimentos orçamentários desenvolvido durante o ano 2003 pela OCDE em conjunto com o Banco Mundial para mais de 60 países. À data da publicação deste documento 38 países haviam ingressado seus dados, incluindo seis países latinoamericanos: Argentina, Bolivia, Colombia, Chile, México e Uruguai. O Quadro 1 mostra a extensão do uso de mecanismos para estimar a eficiencia, eficacia e custo-efetividad do gasto das atividades públicas. Como se pode observar no Quadro 1, a OCDE faz uma distinção entre “revsão” (review) e avaliação. A “revisão” consiste em uma avaliação de desempenho de uma intervenção, enquanto que a “avaliação” se utiliza para uma valoração em maior profundidade e mais compreensiva que a “revisão”.

Quadro 1Que mecanismos se utilizam para estimar a eficiência, eficácia e custo efetividad/eficiencia do gasto (value for money) das atividades públicas?

Total Países Porcentaje (N=38 países)Porcentaje 6 países de LARevisão do êxito dos principais programas no logro de seus objetivos anunciados 18 47.3 % 33.3%Revisões especiais (ad-hoc) sectoriais ou de programas 29 76.3 %

50.0%Avaliação sistemática da eficiencia, eficacia e rendimento 7 18.4 % 33.3%

Avaliações especiais (ad-hoc) da eficiencia, eficacia e rendimento 1436.8 % 16.7%

Avaliações ad-hoc de custos de efetividade (cost effectiveness/value for money) 10 26.3 % 0.0%Acordos de desempenho detalhando resultados desejados 12 31.5 % 16.7%Revisões realizadas por organizações externas (por exemplo, Banco Mundial, oficina suprema de auditoria) 15 39.4 % 33.3%

Fonte: OECD/World Bank Survey on Budget Practices and Procedures, 2003.Algumas experiências de indicadores de avaliação de desempenho têm restringido seu uso à informação proveniente do monitoramento e acompanhamento. Sem dúvida, considerada a experiência empírica para efeitos deste documento, se assume que todas las ferramentas antes mencionadas podem gerar indicadores de avaliação de desempenho. Com a finalidade de incorporar definições conceituais que surgem da praxis latinoamericana, a seguir se apresenta a definição utilizada pelo sistema de indicadores do Perú: “Os indicadores de desempenho são instrumentos de medição das principais variáveis associadas ao cumprimento dos objetivos, que a sua vez constituem uma expressão qualitativa ou quantitativa concreta do que se pretende alcançar com um objetivo específico estabelecido. (...) A avaliação de desempenho se associa ao juizo que se realiza uma vez culminada a ação ou a intervenção. Busca responder interrogantes chaves sobre como foi realizada a intervenção, se foram cumpridos os objetivos (concretamente, a medida em que estes vão sendo cumpridos), o nivel de satisfação da população objetivo, entre outras. Em suma, se busca avaliar quando bem ou quão aceitável foi o desempenho de determinado organismo público com o objetivo de tomar as decisões necessárias para aperfeiçoar a gestão” (Ministerio de Economía y Finanzas del Perú, 2000). Como se depreende da definição anterior, o sistema de indicadores de desempenho nos organismos públicos do Perú há enfatizado o vínculo entre desempenho e avaliação, estabelecendo que a meta do sistema é tomar decisões para melhorar a gestão.

B. Os Indicadores de Avaliação de Desempenho: uma Necessidade para a Gestão por ResultadosComo se assinalou na Introdução deste documento, a gestão pública na América Latina se encontra em uma transição desde um modelo burocrático tradicional a um modelo de gestão pública orientada aos resultados. Este novo modelo se centra nos impactos da ação pública, onde o mais importante são os resultados, as metas e os padrões de desempenho. A introdução de indicadores de avaliação de desempenho gera múltiplos pontos de apoio para a implementação de uma gestão orientada a os resultados. Em primero lugar, os indicadores apoiam o conhecimento e a aprendizagem do processo que muitas vezes se desenvolve de forma bastante irreflexiva e rotineira. Se o processo de construção dos indicadores se realiza de forma ampla e participativa, tanto os gestores públicos como os funcionários iniciam um processo de reflexão e introspeção acerca do quefacer institucional que os leva a um “dar-se coenta” das fortalezas e debilidades dos resultados de cada unidade e da instituição em seu conjunto. Este processo de aprendizagem tem sua vertente mais rica na mudança do eixo de análise que realizan os funcionários desde uma visão centrada nos processos (sobre o que normalmente há mais consciência pois

são as ações que se executan diariamente) a uma visão que se orienta aos resultados e impactos do processo institucional.Um segundo aspecto se refere ao apoio que provêm os indicadores para adotar medidas de melhoria da gestão que se referem ao re-diseño dos programas modificando suas estratégias de entrega dos bens e serviços às populações destinatárias. De igual modo, as conclusões que emanam da avaliação de desempenho permitem realizar ajustes na operação e valorar a pertinência das ações realizadas após o logro dos objetivos institucionaisUm terceiro ponto de apoio para a implementacção de uma gestão orientada para resultados é que a utilização dos indicadores favorece a contestabilidade ou competencia por recursos públicos. Com a finalidade de romper a inércia orçamentária, os distintos programas e setores competem em igualdade de condições para obter fundos durante a fase de formulação orçamentária. Se bem que a contestabilidade no âmbito público inicialmente se concentrou no uso de provedores privados para entregar bens e serviços, recentemente se há incorporado a noção de comparar os impactos e gestão entre distintos serviços públicos como um meio de utilizar de forma mais eficiente os recursos. Finalmente, o quarto ponto de apoio tem relação com a transparencia e submisão de contas. A busca da eficiencia não pode ser entendida sem a participação cidadã. Para que a accountability seja operativa a cidadania, as redes sociais e as ONGs devem dispor de informação sobre o processo público, particularmente no que se refere aos niveis de cobertura e critérios de focalização dos programas públicos. Cabe assinalar que das experiencias de indicadores de avaliação de desempenho que têm sido implementadas na América Latina, esta busca de transparencia e submissão de contas tem sido o objetivo que menos tem avançado pelos problemas políticos que se geram ao publicar desempenhos que não são considerados ótimos para a cidadanía ou os meios de comunicação. Persiste uma cultura institucional que não vê com bons olhos a sanção social ou política que cai sobre os gestores públicos que encabeçam organizações públicas que não têm uma boa avaliação externa de seu desempenho. A título de exemplo, no Quadro 1 se apresentam os fundamentos que levaram em 1994 a Comissão Interministerial de Modernização do Estado do Chile a implementar os indicadores de desempenho nos serviços públicos do governo central. Como se pode observar, somente o quinto ponto establece como fundamento para criar os indicadores ao dispor com informação sobre desempenho por parte de entidades que estejam fora do Governo (neste caso o Parlamento). O sistema chileno evoluiu com o tempo e inclusive se descontinuou nos anos orçamentários 1999-2000. A partir de 2001 os indicadores de desempenho se restabeceram e se deu maior ênfase às medições para uso externo como instrumento de accountability, onde se deve privilegiar produtos estratégicos e orientados aos resultados, quer sejam finais ou intermediários (Guzmán, 2003).

C. Os problemas de medição e disponibilidade de informaçãoA distinção entre produtos (outputs) e resultados (outcomes) tem uma longa discussão entre acadêmicos e praticantes. Em essência, os produtos estão relacionados com os bens e serviços produzidos diretamente por um organismo público, enquanto que os resultados se relacionam com os objetivos finais da política governamental. A título de exemplo, em um programa de erradicação do trabalho infantil o produto é a entrega de

bolsas escolares a estudantes que vivem em condicões de risco de trabalho infantil, enquanto que o resultado se pode expressar mediante a diminuição do trabalho infantil ou na evasão do sistema escolar.Se bem que a maior parte dos países da OCDE coincidem na comparação de resultados, cada país tem um esquema distinto. No Reino Unido se define um pequeno número de metas de gestão para cada agencia e logo estes são publicados anualmente em um documento único de todo o governo que compara os objetivos e resultados do ano e fixa novos objetivos para o ano seguinte. A vantagem das metas é que estão muito demarcadas, porém sua desvantagem é que poden excluir elementos importantes do desempenho. No caso dos Estados Unidos, cada ministerio ou agencia deve produzir um plano anual de desempenho, no qual se analisa o que se espera cumprir no ano seguinte e um informe que avalia o que efetivamente se cumpriu (Ruffner, 2003). NaAmérica Latina igualmente existe um leque de combinações na incorporação de metas de desempenho no processo orçamentário. O Quadro 2 mostra os resultados da base de dados de práticas e procedimentos orçamentários da OCDE/Banco Mundial para os seis países da região que completaram a pesquisa. A maioria dos países introduzem metas de desempenho em uma combinação de produtos e resultados, enquanto que Colombia é o único país que não considera metas no processo orçamentário.Quadro 2Que tipos de metas de desempenho se incluem no processo orçamentário?

Predominância Produtos Predominância Resultados Uma combinação de Produtos e Resultados em todos os programas Uma combinação de Produtos e Resultados em alguns programas Uma combinação de Produtos e Resultados na maioria dos programas

nenhumARGENTINA X BOLIVIA X CHILE X COLOMBIA XMÉXICO X URUGUAY X

Fonte: OECD/World Bank Survey on Budget Practices and Procedures, 2003.Mas além das discussões de nomenclatura, o que importa é pensar nos resultados como sinais direcionais e não como afirmações de causalidade. Neste sentido, é relevante no momento de formular o orçamento saber se a taxa de evasão escolar aumenta ou diminue, além de verificar se este dado é imputável ou não a um determinado programa. Ademais, os indicadores de resultados podem establecer metas ex-ante a alcançar em termos de output por parte dos governos, o qual compromete decisões orçamentárias. A título de exemplo, no Brasil nos anexos da Lei de Diretrizes Orçamentárias (LDO) de 2003, se definem 116 programas prioritarios e se estabelecem as metas em termos de produto das ações que realizam ditos programas .Relacionado com os problemas de medição se encontra a debilidade dos sistemas de informação administrativa. Com frequencia os serviços públicos na América Latina não dispõem de sistemas que forneçam informação a respeito daquelas variáveis que efetivamente podem ser influenciadas ao acionar das instituições. Esta debilidade obriga a desenhar indicadores de acordo com a informação disponivel, o que não necessariamente se refere

aos fatores críticos para os objetivos estratégicos da instituição e/ou aos produtos/serviços principais de uma entidade pública. Durante a última década os organismos multilaterais que operam na região têm investido significativos recursos no desenvolvimento dos sistemas integrados de administração financeira (SIAF), os quais são desenhados centrados nos sub-sistemas de informação relativos a orçamento, contabilidade e crédito público. Sem dúvida, na maioría dos países o aproveitamento da informação relacionada com a gestão e os resultados fornecidos pelos SIAF continua sendo sub-utilizada para a tomada de decisões.

III. A CONSTRUÇÃO DE INDICADORES NA PRÁTICAUm requisito prévio para formular indicadores de avaliação de desempenho é que a instituição pública defina os objetivos que orientarão a médio e largo prazos sua atuação, e que estes objetivos se traduzan en planos de ação com metas concretas e verificáveis. Para dispor destas definições existem distintas metodologías que apontam para a elaboração de “cartas de navegação”, cenários desejados ou imagem-objetivo de até onde necessita e quer ir a organização. A metodologia mais difundida para obter estas definições no interior das instituições públicas nos últimos quinze anos tem sido o planejamento estratégico. Apesar desta metodología ter estado presente no setor privado desde a década de 1950, sua popularidade para o setor público surgiu na segunda metade dos anos oitenta.A. Condições prévias para a construção de indicadores de desempenhoO planejamento estratégico é um processo estruturado que permite à organização especificar sua missão e papel dentro da estrutura do Estado. A partir desta missão, se definem seus objetivos estratégicos e se estabelecem metas de gestão, estes insumos orientam e priorizan o processo de construção de indicadores ao concentrar os recursos e a avaliação de desempenho nas áreas estratégicas. No Quadro 3 se resume as definições conceituais que guiam o processo de definições estratégicas e identificação de produtos relevantes das instituições públicas no Chile.

Uma vez definidos a missão, os objetivos estratégicos e os produtos relevantes da instituição, se requer estabelecer metas de gestão que estabeleçam os logros que se quer alcançar em cada uma das áreas ou âmbitos de ação que surgem a partir dos objetivos estratégicos. Os objetivos estratégicos se podem enunciar para um quinquenio ou um período presidencial, porém as metas de gestão têm um horizonte de tempo mais delimitado, normalmente de um ou dois anos. Estas metas de gestão contêm uma declaração explícita de níveis de atividade ou padrões de qualidade que se pretende alcançar. No Uruguai se desenvolveu a partir de 1996 o “ Sistema de Evaluación de la Gestión Pública”(SEV), o qual é um sistema de informação para a avaliação dos resultados da gestão das Unidades Executoras e Incisos do Orçamento Nacional. No Quadro 4 se apresentam os requisitos que, de acordo com o SEV, as metas de gestão devem cumprir.

B. Plano Operativo para a construção de indicadores de desempenhoDispondo das condições prévias de clareza estratégica antes assinaladas, um dos primeiros passos que deve adotar a institución é o desenho de um sistema de informação que permita medir o desempenho com níveis de certeza e confiabilidade aceitáveis. A primera etapa para a construção deste sistema de informação consiste em determinar teóricamente os dados que se requerem para construir os indicadores e gerar um cadastro com a informação que se encontra disponivel no interior da instituição. Com o quadro de demandas e disponibilidades de informação, se pode identificar as fontes de dados e se a informação é fácil e econômica de recoletar, ou se há necessidade de levantamientos de dados especiais. Usualmente as instituições dispõem de informação que se refere à eficácia, eficiência e desempenho orçamentário. Sem dúvida existe escassa informação disponible relativa à satisfação de usuários o aos tempos de tramitação de requerimentos ou expedientes, para o qual se requer instalar sistemas de medição adicionais tais como enquetes, sondagens de opinião e acompanhamento automatizado de tramitação de expedientes.Existem vários fatores que desaconselham o desenvolvimento de um sistema de indicadores para todas e cada uma das atividades e programas que um governo, ou uma secretaria, desenvolve. Principalmente estes fatores se relacionam com a restrição de recursos humanos e financeiros para recoletar e processar dita informação; com a sobrecarga de trabalho que gera nas áreas operativas; com a saturação de informação (information overflow) para as instâncias de tomada de decisões como unidades orçamentárias setoriais ou centrais; com o excesso de detalhes que se entregam às instâncias de fiscalização (parlamento, controladoria, meios de comunicação social, cidadanía) que tendem a confundir ao receptor em termos de discriminar o urgente, o importante, o redundante e o insignificante.Não obstante o anterior, o surgimento de bases de dados que são desenvolvidos ao amparo de sistemas integrados de administração financeira (SIAF) tem permitido a alguns governos estabelecer complexos sistemas de medição em que se definem centenas de indicadores de desempenho dos processos, resultados ou impactos das açõess públicas. O fato que a informática permita administrar estas grandes quantidades de indicadores não é garantía que se melhorará o processo de tomada de decisões, ou que se logre uma gestão mais eficiente e uma fiscalização mais eficaz. Por esta razão, uma atividade essencial no desenho do sistema de informação consiste na hierarquização dos indicadores de acordo com sua relevância estratégica, a qual implica que o indicador proposto teóricamente deve ser a medição ou expressão quantitativa de uma atividade ou produto que aporta diretamente à consecução dos objetivos estratégicos e metas de gestão da instituição. Desenhado o sistema de informação que apoia o levantamento dos dados necessários para o acompanhamento dos indicadores de avaliação de desempenho, se requer uma ação de validação dos indicadores propostos. Dado que o indicador é somente um instrumento que apoia a avaliação, sua qualidade e proveito para este fim estará condicionada pela clareza e pertinencia do indicador. As experiências de países da OCDE e da América Latina têm identificado pelo menos dez critérios que preferentemente devem cumprir os indicadores de desempenho. No Quadro 3 são descritos estes critérios.

A maior parte dos critérios tem um sentido comum, porém a geração de forma participativa é consubstancial ao êxito da implementação e merece um parágrafo à parte. En muitos países durante a formulação orçamentária se detecta um divórcio no interior das instituições entre os funcionários responsáveis pela unidade de orçamentos e as unidades operativas, ou entre estas e a unidade de planejamento. Se esta situação se reproduz no processo de construção de indicadores, estes não refletirão cabalmente no desempenho da instituição, produzindo-se um sesgo operativo, orçamentário ou de planos, de acordo com o caso. Quadro 3Critérios Práticos para a Construção de Indicadores

Critério DescriçãoPertinência Deve referir-se aos processos e produtos essenciais que desenvolve cada instituição para refletir o grau de cumprimento de seus objetivos institucionais.A medição de todos os produtos ou atividades que realiza a instituição gera uma saturação de informação, tanto no interior da organização como fora desta.Homogeneidade A unidade de produto deve ser equivalente entre sí, em termos de volume de trabalho e de recursos. Se não se dá a equivalência, para alcançar as metas se tenderá a executar somente as ações que demandam relativamente menos recursos, postergando ou anulando as mais custosas ou complexas, que geralmente são as que têm um maior impacto sobre a gestão institucional.Independência Os indicadores devem responder fundamentalmente às ações que desenvolvem e controlam a instituição ou às variáveis do entorno que se vejam afetadas diretamente por essas ações. Não pode estar condicionado a fatores externos, tais como a situação geral do país, o trabalho legislativo do parlamento ou a atividade conexa de terceiros (públicos ou privados).Custo A obtenção da informação para a elaboração do indicador deve ser a custos que tenham correlação com os recursos investidos na atividade.Confiabilidade Digno de confiança, independente de quem realize a medição. Em principio, a base estatística dos indicadores deve estar em condições de ser auditada pelas autoridades da instituição e examinada por observadores externos.Simplicidade e Compreensividade Existe uma tensão entre ambos critérios: se deven cobrir os aspectos mais significativos do desempenho, porém a quantidade de indicadores não pode exceder a capacidade de análise dos usuários, tanto internos como externos.

Os indicadores deven ser de fácil comprensão, livres de complexidades. Oportunidade Deve ser gerado no momento oportuno dependendo do tipo de indicador e da necessidade de sua medição e difusão.Não-redundancia Deve ser único e não repetitivo.Focalizado em áreas controláveis Focalizado em áreas suscetíveis de corrigir no desempenho dos organismos públicos gerando por sua vez responsabilidades diretas nos funcionários e pessoal.Participação Sua elaboração deve envolver no processo a todos os atores relevantes, com o fim de assegurar a legitimidade e reforçar o compromisso com os objetivos e indicadores resultantes. Isto implica ademais que o

indicador e o objetivo que pretende avaliar seja o mais consensual possivel no interior da organização.Fonte: Elaboración del autor sobre la base de Dirección de Presupuestos de Chile (1995), Marcel (1998), National Center for Public Productivity (1997) y Shack (2003).

C. As Dimensões da Avaliação de DesempenhoPara assegurar sua apropiação por parte das instituições, um indicador de avaliação de desempenho deve ser simples e expressar a realidade que mede. Um mesmo indicador pode expressar significados e critérios diversos, dependendo do que se queira medir e dos elementos que se deseje incluir em sua análise. Como se tem destacado, os problemas sociais que enfrenta a gestão pública moderna são de caráter multidimensional. De igual maneira, a avaliação de desempenho também se pode abordar desde distintas perspectivas. A visão tradicional sobre a qual se tem construido os indicadores é sobre a dimensão da eficácia e eficiência, como se verá mais adiante esta visão tem-se ampliado nos últimos anos incorporando-se novas dimensões de desempenho.A eficácia se relaciona com a teoría implícita que sustenta a intervenção pública. Esta teoría apresenta um conjunto de medidas de desenho e implementação (como realizar a intervenção, a quem focalizar, durante qual período de tempo, em que localidades, etc.), as quais pretendem alcançar certos objetivos ou resultados na população destinatária. Portanto, os indicadores de eficácia medem se a intervenção alcançou as mudanças requeridas e gerou um grau de cumprimento dos objetivos predeterminados. As organizações públicas que são capazes de identificar os produtos ou serviços que são estratégicos para o cumprimento de sua missão, podem delimitar adequadamente os serviços prestados que se deve medir e a população objetivo que receberá esses bens ou serviços. Os indicadores de eficácia, por sua vez, podem ser sub-classificados em distintos elementos da eficácia: Indicadores de Cobertura: são aqueles que refletem a relação entre a demanda total pelos bens ou servicios que oferece a instituição e a quantidade efetivamente entregue. Em outras palavras, a porcentagem de cobertura ou porcentagem da população objetivo atendida é uma comparação entre a situação atual e o potencial máximo que se poderia entregar. Dado que os sistemas de informações geográficas provêm cada vez uma maior quantidade de dados glosados territorialmente em ocasões pode ser recomendavel que os niveis de cobertura se segmenten segundo áreas geográficas. Indicadores de Focalização: como se indicou anteriormente a eficácia incorpora uma definição precisa de beneficiários. Portanto, os indicadores de focalização medem o nivel de precisão com que os produtos e serviços estão chegando à população objetivo que se definiu inicialmente. Existem distintas formas de medir a focalização, todas elas se centram en medir as filtrações identificando a fuga de beneficios do programa aos usuários não elegíveis (erro de inclusão), ou ainda a quantidade de usuários elegíveis que não acedem aos beneficios do programa (erro de exclusão). Indicadores de Capacidade para Cobrir a Demanda Atual: as instituições que outorgam autorizações aos privados ou processan expedientes de diversos tipos em ocasiões não são capazes de responder à demanda total dos usuários em condições de tempo e qualidade adequadas. Nestes casos, quer seja para gerar melhorías na gestão ou para avaliar

processos de otimização de tramitação de expedientes, os indicadores de capacidade permitem medir os niveis de demanda que se pode assumir. Indicadores de Resultados: como a eficácia se relaciona com o alcance dos objetivos, resulta essencial que os indicadores de avaliação de desempenho devam centrar sua atenção no efeito final ou intermediário da intervenção que se está avaliando. Como se assinalou no Requadro 2, os resultados se relacionam com os impactos ou consequências que têm para a comunidade os produtos ou atividades das instituições públicas.Os indicadores de eficácia descritos anteriormente medem se os objetivos predefinidos para a atividade estão sendo cumpridos, porém não se analisa o tema da quantía dos recursos outorgados. Uma enquete aplicada a 262 participantes dos cursos de gerencia social do INDES-BID revelou que 84% colocaram que o conceito de eficácia equivale ao “cumplimiento de metas y objetivos o a la satisfacción de la necesidad que motivó el diseño y desarrollo de la iniciativa, sin importar los costos y el uso de recursos” (Mokate, 2001). Se está sendo desenvolvido um indicador de focalização evidentemente que os resultados serão mais precisos caso se disponha de maiores recursos para selecionar os beneficiários, pois não se pode avaliar sem considerar os custos. A mesma análise se pode realizar com respeito aos indicadores de cobertura. Se podería eventualmente propor uma dimensão de indicadores que avalie o alcance em relação ao programado, porém este tipo de indicadores são de pouca utilidade gerencial pelas condutas adaptativas que se podem gerar ao fixar as metas. Adicionalmente, cabe perguntar se uma classificação mais ampla de dimensões dos indicadores contribuirá para uma dar maior clareza aos funcionários que constroem estes ou, por outro lado, se gerará uma complexidade desnecessária.A outra dimensão de importância é a de eficiência; estes indicadores se relacionam com a maximização do impacto do gasto público. Esta maximização se pode medir desde os ângulos distintos: a) se está produzindo a maior quantidade de produtos ou contribuições possiveis ante o nivel de recursos que se dispõe, b) como alcançar um nivel determinado de serviços utilizando a menor quantidade de recursos possivel. O indicador de eficiência más utilizado é o custo unitário de produção, o que relaciona a produtividade física com os custos diretos e indiretos utilizados na entrega do produto ou serviço. A produtividade física é relativamente simples de medir, pois se relaciona com o nível de atividade, expresso en número de fiscalizações, solicitações resolvidas, pessoas capacitadas, usuários atendidos, etc. Sem dúvida, a medição dos custos apresenta uma maior complexidae pois os sistemas contábeis registram em forma agregada a utilização de recursos para todos os bens e serviços que a instituição entrega.Um dos problemas mais recorrentes na geração deste tipo de indicadores é a ausencia na contabilidade de meios de custos que permitam identificar claramente os custos que estão associados a um produto determinado dos restantes produtos ou serviços que a instituição provê. Relacionado com o anterior, em cada instituição se desembolsam custos indiretos que estão associados, por exemplo aos gastos da direção superior da organização, gastos de manutenção de imóveis, serviços de apoio e gastos em energía.

O rateio ou distribuição destes custos indiretos sobre os custos dos principais produtos de uma instituição é uma tarefa bastante complexa em empresas manufatureiras, em empresas de serviços é mais complexo em serviços públicos pode chegar a ser absolutamente emaranhado. Algumas

organizações públicas hão introduzido as novas técnicas de distribuição de custos tais como o custeio baseado en atividades (ABC oo activity-based costing), porém na maioría das instituições públicas a identificação mais rigorosa dos custos segue sendo um desafío pendente.

Atendidas as limitações assinaladas anteriormente no uso de indicadores de custo medio ou custo unitário, crescentemente se há recorrido ao uso de outro tipo de indicador de eficiência que mede a produtividade média dos fatores que intervêm na provisão do bem ou serviço, com particular ênfase na produtividade média dos recursos humanos que participam no processo produtivo. Este tipo de indicadore é particularmente útil para serviços que se dedicam a fiscalizar, nos quais a quantidade de fiscalizações por inspetor dá conta do desempenho de seus recursos humanos. O cuidado que se deve ter no momento de construir este tipo de indicadores é que os produtos sejam efetivamente homogêneos, pois ao estabelecer uma média que compreende fiscalizações que tardam alguns minutos não se pode meclar com fiscalizações que demoram dias ou meses em sua execução completa.Embora a maior profusão se dê entre os indicadores de eficácia e eficiência, a necessidade de indicadores que tragam “sintonía fina” para a melhoria da gestão tem estimulado os governos a medir outras dimensões que dêm conta da multiplicidade de objetivos da gesção orientada aos resultados. As principais dimensões de avaliação de desempenho que se foram introdzcidas são as seguintes:

Qualidade na prestação dos serviços: estes indicadores estão relacionados com as características de como está sendo ofertado o produto ou serviço, para o quual busca quantificar a capacidade dos organismos públicos para responder de forma rápida, direta e adequada às necessidades dos usuários. Estes indicadores podem ser avaliados através do nivel de satisfação manifestado pelos beneficiários dos serviços sobre determinados aspectos da provisão de bens e prestação de serviços, tais como a oportunidade (tempo de espera ou tempo de resposta), simplicidade de postulação ou tramitação, acesibilidade, amabilidade da atenção ao público, exatidão e continuidade na provisão do serviço.

Indicadores de Desempenho Orçamentário: consiste na capacidade de una instituição para gerar e utilizar adequadamente os recursos financeiros para o cumprimento de sua missão institucional. Nesta categoría as instituições públicas que têm atribuições legais para gerar rendas próprias estabelecem indicadores de autofinanciamento; as organizações que outorgam empréstimos medem sua capacidade para recuperar os créditos outorgados e o manejo da carteira de passivos; toda organização que administra fundos pode estabelecer uma relação entre os gastos administrativos e os gastos totais, o qual em termos agregados se pode utilizar como um proxy dos ganhos de eficiência do setor público; para as instituições que preferentemente se dedicam ao investimento em infraestructura os indicadores relevantes podem referir-se aos gastos executados versus os gastos programados das obras; por último, para medir o investimento em recursos humanos, se poden estabelecer indicadores que relacionem os gastos em capacitação com os gastos totais empessoal.

A integração das distintas dimensões de avaliação de desempenho A distinção em dimensões de desempenho somente se realiza para

fins analíticos e facilitar a aplicação do instrumento por parte dos

usuários. Dependendo das prioridades da instituição certos indicadores podem perfeitamente ser classificados em duas categorias. A gestão orientada aos resultados é de caráter multidimensional e como tal não há uma dimensão do desempenho que seja mais relevante que outra. A avaliação da gestão global de um serviço público surgirá a partir da interação dos componentes de eficiência, eficácia, qualidade e desempenho orçamentário. Dependendo da natureza das atividades que executa a instituição algumas dimensões são mais relevantes que outras. A guisa de exemplo, os indicadores de cobertura são particularmente relevantes para as instituições que trabalham com temáticas de saúde pública, onde os erros de exclusão podem gerar brotes epidêmicos. Entretanto, os indicadores de qualidade da atenção terão um peso maior em instituições que atendem grandes fluxos de público tais como serviços de impostos e diretorias de registro civil e imigração.

Independiente da ênfase principal que apresente uma instituição, é preciso destacar que em uma perspectiva global se podem gerar conflitos entre as distintas dimensões que obrigam a avaliar los custos e beneficios de uma decisão de melhoria. Evidentemente se pode incrementar a cobertura de uma determinada prestação, porém por problemas de escalonamento das inversões poderia gerar maiores custos unitários (no caso que um aumento da cobertura obrigue a construir um novo hospital ou escola). De igual modo, as melhorias na qualidade de entrega de um serviço as vezes só podem ser logradas em detrimento da cobertura, a custa de um maior custo ou gerando tempos de resposta mais prolongados. A avaliação de desempenho de toda a instituição deve ponderar a contribuição a os objetivos estratégicos de cada um dos produtos e serviços. Os indicadores para cada produto e suas respectivas dimensões devem desenvolver-se de forma integral, considerando as possiveis interdependencias y trade-offs entre eles.Uma das metodologías que se há desenvolvido para integrar de forma harmônica as dimensões quantitativas e qualitativas que emanan dos indicadores de desempenho constitue el “Cuadro de Mando Integral” (Balanced Scorecard-BSC). O BSC é uma metodología desenvolvida no setor privado em 1992 por Robert Kaplan e David Norton que intenta integrar os aspectos da gerencia estratégica e a avaliação do desempenho da empresa. Esta ferramenta se desenvolveu sob a convicção de que a medição baseada somente em indicadores quantitativos e financeiros não capturava de um modo adequado aquilo que cria valor em uma organização, e que era necessário acrescentar outras perspectivas de análise de caráter mais qualitativo ou de ativos intangiveis.No setor público estão sendo desenvolvidas iniciativas de Cuadro de Mando Integral, porém no mundo hispanoamericano a maior parte se circunscrevem a experiencias de governos locais , ou não contemplam a complexidade dos quadros desenvolvidos para as empresas que consideram os interesses de distintos stakeholders como os acionistas e clientes. A Generalitat de Catalunya leva três anos aplicando este sistema; no Recuadro 5 se descrevem suas principais características.

IV. DESAFÍOS DE IMPLEMENTACIÓN DE LA GESTIÓN PÚBLICA ORIENTADA A LOS RESULTADOS

As potencialidades do modelo de gestão pública orientada aos resultados se podem observar em múltiplas dimensões do gasto público. Sem dúvida, dado os desafíos de superação da pobreza que enfrenta a região, um dos casos em que se visualiza esta relação se refere ao impacto do gasto público em funções sociais. Em termos estilizados, se pode apreciar que durante a última década os governos da América Latina hão destinado uma proporção crescente de seu gasto público a funcões sociais, gerando-se um aumento de 58% no gasto social por habitante. Em termos agregados, o gasto social para 17 países que informam regularmente sua clasificação funcional aumentou seu peso relativo no PIB entre 1990/91 e 2000/01 de 10,1% a 13,8% . Não obstante estes avanços, o nivel de gasto social per se não constitue um adequado indicador de desenvolvimento social, porque não permite avaliar se efetivamente se está alcançando o impacto deseado nas populacções destinatárias dos programas sociais. Efetivamente, ao que pese o incremento significativo do gasto público social, a diminução da pobreza não alcanzou magnitudes similares. Se bem que inicialmente, entre 1990 e 1997 a porcentagem de população em situação de pobreza diminuiu de 48.3% a 43.5% , como se observa no Gráfico 1 depois de 1997 as reduções nos niveis de pobreza não registraram diminuições de magnitude similar aos incrementos do gasto público social.

Gráfico 1: Evolução da Pobreza e do Gasto Público Social 1990-2001 na América Latina

Fonte: Datos de Panorama Social de América Latina, CEPAL.

A evolução do gasto social, assim como a dinâmica de adaptação dos mercados nacionais que demanda a globalização, exigem cada vez maior profissionalismo no uso e alocação dos recursos públicos. A discussão acerca da eficiência e eficácia nos organismos públicos, assim como da medição de resultados do acionar público, tem se instalado com força nos meios de comunicação, debates políticos e círculos acadêmicos. Nesta seção são descritos alguns desafíos de implementação que têm sido assinalados como mais relevantes em diversas análises desenvolvidas por parte dos governos nacionais e sub-nacionais que têm estabelecido programas de gerencia pública orientada aos resultados, particularmente naqueles aspectos que se relacionam com os indicadores de avaliacção de desempenho.

A. Ambiguidade na definição da missão organizacionalO problema mais importante no momento de iniciar a transição a um modelo de gestão orientada aos resultados é que a missão das instituições públicas está definida em muitos casos de uma maneira muito ampla e ambígua. Esta situação surge da lógica do processo político, onde para responder a pressões de múltiplos grupos de interesse e/ou beneficiarios se deixa nebulosa a essência da missão organizacional. Na prática, este fato implica que as instituições provên uma multiplicidade de bens e serviços, dirigidos a beneficiarios diversos e com distintas expectativas de satisfação de suas necessidades.

Sem dúvida, o que é funcional para o processo político pode ser altamente disfuncional para a gestão, pois ao não existir clareza a respeito das expectativas institucionais, tampouco pode existir precisão a respeito da medição dos resultados e do impacto do acionar público. Vários países da região hão levado a cabo amplos exercicios de planejamento estratégico em suas instituições públicas. As experiências do México, Costa Rica e Colombia mostram que se tem implementado exitosamente os exercicios de definição de missão e de análise de fortalezas e debilidades, porém a vinculação destes níveis com a avaliação de resultados operativos segue sendo altamente complexa.

É importante destacar que os organismos financieros multilaterais estão outorgando especial importancia ao planejamento estratégico não só de instituições, mas também de projetos nacionais de desenvolvimento. Se estima que os "projectos de país" que estão respaldados por esquemas de concertação multisetoriais e multipartidários contam com maior viabilidade de financiamento e sustenibilidade em largo prazo. A partir de 1997 as distintas agencias das Nações Unidas têm assumido nos países a formulação dos “Marco de Asistencia de las Naciones Unidas para el Desarrollo” (UNDAF), com o propósito de enfocar em conjunto seus esforços de cooperação otimizando ações e incrementando o impacto destas a favor do desenvolvimento humano sustentável.

Com um enfoque similar, o Banco Mundial tem solicitado aos países de menores rendas a geração de Estrategias de Reducción de la Pobreza (PRSP), as quais orientam estratégicamente o uso dos recursos derivados de programas de redução de dívida. Vinculado aos PRSP’s está a formulação do Marco Integral del Desarrollo, MID (Comprehensive Development Framework). O MID é um enfoque integral com respeito ao desenvolvimento que procura um melhor equilibrio na formulação das políticas, destacando a interdependencia entre os aspectos sociais, estruturais, humanos, de bom governo, ambientais, econômicos e financeiros (Banco Mundial, 2003).

B. O impacto no proceso orçamentário

Os esforços de implementação de sistemas de avaliação da gestão pública são caros e consomem tempo e energía por parte dos dirigentes dos serviços públicos. Assim mesmo, a dinâmica inercial da destinação orçamentáriaria nem sempre oferece incentivos para seguir aprofundando na avaliação da gestão. Em numerosos países a orientação aos resultados há servido para definir prioridades programáticas e modificar os procedimentos de trabalho, peorém só ocasionalmente seus resultados se incorporam no processo de fixação orçamentária.

Em termos gerais, a restrição fiscal que afeta a quase todos os países da região, outorga sinais negativos para aqueles gerentes que melhoram seus indicadores de eficiência pois se estabelece como um fato que estes serão capazes de funcionar com menores recursos. Ainda que alguns governos intentaram estabelecer “premios à eficiencia” nos períodos de maior folga fiscal, os recortes orçamentários aos finais da década dos noventa obrigaram a eliminar ou reduzir drásticamente estes fundos. O maior perigo destes sinais negativos é que no interior das organizações públicas se tenda a associar a gestão por resultados com um instrumento desenhado pelos

ministérios de fazenda para implementar processos de ajuste fiscal, afetando desta maneira a aceitação e institucionalização da avaliação de desempenho.A forma e velocidade nas quais se gere uma vinculação entre a avaliação de desempenho e o processo orçamentário depende em grande medida do contexto político-institucional de cada país, por exemplo o tipo de modelo de avaliação que se adota. Um recente estudo comparativo das políticas nacionais encaminhadas a criar sistemas de avaliação de resultados da gestão pública no Chile, Colombia, Costa Rica e Uruguai há proposto uma tipología de modelos de avaliação. A tipología se constroe a partir da referência institucional utilizada para estruturar o sistema de avaliação e o tipo de processo de tomada de decisões a que pretendem servir seus resultados. Com base na evidência dos quatro países analisados, estes modelos de avaliação se categorizam no modelo “Plan” e no modelo “Presupuesto” (Cunill y Ospina, 2003).

O modelo de avaliação tipo “Plan” busca reforçar o processo de tomada de decisões propriamente políticas, mais que as decisões orçamentárias, e geralmente é coordenado ou promovido pelas unidades encarregadas do planejamento. Este é o caso de Costa Rica e Colombia, cujos sistemas de avaliação apresentam uma forte inclinação à metaavaliação e uma desarticulação do ciclo orçamentário. Em contraste, o modelo de avaliação tipo “Presupuesto” desenvolve instrumentos de avaliação que estão orientados a melhorar os processos de formulação e discussão orçamentária. Este é o caso do Chile, em que as ferramentas de avaliação se integram ao ciclo orçamentário, uma variante do modelo “Presupuesto” são aqueles países onde o sistema de avaliação de desempenho se aplica sobre as destinações orçamentárias, como seria o sistema de Uruguai e México. Um modelo misto (“Plan-Presupuesto”) constituiria a avaliação do Plano Plurianual no Brasil, pois a análise anual deste instrumento orienta o processo de destinação dos gastos orçamentários e oferece consistência aos objetivos de políticas públicas que requeren mais de um ano para sua implementação.

C. Ausência de um enfoque de largo prazo na gestão por resultados

Os processos de modernização e de mudança de cultura organizacional são de largo prazo. A nivel mundial, Nova Zelandia é o único caso em que as reformas FACE a uma gestão orientada aos resultados foram implementadas rapidamente. Outros países, como Australia, Canadá e o Reino Unido têm assumido ao longo de mais de 15 anos mudanças incrementais em que alguns ministerios têm evoluído mais rapidamente que outros. A associação da gestão orientada por resultados a avanços substantivos em técnicas de orçamentação plurianual tem fomentado a adoção de um enfoque de largo prazo em todas as esferas de governo.

No caso dos Estados Unidos, transcorridos oito anos do Government Performance and Results Act de 1993, a implantacção de uma cultura por resultados ainda não cobría 50% do governo federal. Segundo uma pesquisa realizada no ano 2000 pela General Accounting Office (GAO) junto a dirigentes de 28 agências federais, em média somente 44% dos gerentes dispunha de indicadores de resultados que pudessem demonstrar a alguem externo se estes estavam sendo logrados. A variabilidade entre agencias é

significativa, pois na cota inferior somente 28% dos gerentes no Serviço de Impostos (IRS) dispuham de indicadores, em comparação com 63% da NASA e do Departamento de Moradia.

A implementação gradual e generalizada de um modelo de gestão orientada aos resultados requer uma mudança na cultura organizacional das instituições públicas, processo que perfeitamente se estende mais além de dois ou três períodos presidenciais. Não obstante, a dinâmica política de curto prazo exige ações imediatas e resultados que se possam mostrar à cidadanía, o que entra em tensão com o lento processo de mudança de cultura gerencial.Um exemplo do compromisso de largo prazo para implementar a avaliação de resultados se deu na Costa Rica, onde não obstante as mudanças de governo em 1998 e em 2002, o sistema político logrou institucionalizar a avaliação de resultados a nivel constitucional. Para isso, em junho de 2000 foi modificado o artigo 11 da Constituição Política, incorporando a avaliação por resultados e a prestação de contas como princípios inspiradores da ação pública: “la Administración Pública en sentido amplio, estará sometida a un procedimiento de evaluación de resultados y rendición de cuentas, con la consecuente responsabilidad personal para los funcionarios en el cumplimiento de sus deberes. La ley señalará los medios para que este control de resultados y rendición de cuentas opere como un sistema que cubra todas las instituciones públicas”. Posteriormente, em setembro de 2001, a reforma da Lei de Administração Financeira e Orçamentos Públicos estabeleceu que as entidades e orgãos regidos por dita lei estão obrigados a apresentar informes periódicos e finais de gestão, resultados e rendimento de contas (Mora, 2003).D. Escassez de mecanismos de participação cidadã a favor da gestão por resultadosAs influências externas que favorecem ou entorpecem uma adequada implementação da gestão por resultados têm duas vertentes. Por uma parte, existem diretores públicos a favor de uma melhoria da gestão, pois estes a miúdo se enfrentam com barreiras institucionais e falta de apoio do entorno político e técnico. Quer dizer, estes diretores não têm incentivos fortes para comprometer-se com uma gestão orientada aos resultados. Salvo aqueles contratados mediante um convenio de desempenho, os estímulos tanto políticos como pessoais para a maioria dos diretores são difusos e confusos. O risco que uma mudança de governo possa deixar na metade de caminho da implementação de uma reforma outorga sinais negativos aos responsáveis dos serviços públicos. Por outra parte, existe um contingente significativo de funcionários que, por diversas motivações, favorecem o status quo e geram uma grande resistência à mudança.Porisso, ao não existir mecanismos de participação cidadã a favor da gestão por resultados, se configuraria um problema de relação Agente-Principal devido à asimetría de informação que se produz na relação entre os dirigentes públicos e a cidadanía. Os administradores dos programas e/ou serviços manejam grande parte da informação relativa aos produtos de suas instituições, as áreas de ineficiência, o custo de prover os serviços, as metas alcançáveis e fortalezas, enquanto que os destinatários, interessados e inclusive os organismos de fiscalização como o Poder Legislativo e ONGs especializadas carecem de dita informação.A assimetría de informação frente aos destinatários se vê reforçada pela ausencia de uma relação transacional com os beneficiários. As organizações públicas não vendem os bens e serviços que produzem, senão que os

entregam de forma gratuita ou subsidiária, a miúdo em condições monopólicas. Portanto, as instituições não têm um canal de retroalimentação direta desde o cliente ou usuário através da compra de bens e serviços. Ao existir retroalimentação, é particularmente difícil construir indicadores agregados de resultado da gestão dos serviços públicos equivalentes à línha final do balanço das empresas privadas. E. Os Problemas de CausalidadeNa literatura de avaliação de programas existem numerosas análises a respeito das dificultades para estabelecer relações de causa-efeito, pois grande parte dos fenômenos sociais que intentam intervir nos programas públicos têm uma origem e evolução de tipo multifatorial, existindo problemas de interação entre as variáveis que são atribuíveis ao impacto do programa e aqueles que evoluiram de forma independente. Um exemplo clássico desta multidimensionalidade o constituem os programas de redução da mortalidade infantil, onde atuam de forma dinâmica fatores tais como as intervenções em saúde pública materna e perinatal, a ampliação da cobertura de água potável e infraestrutura sanitária, a melhoria de fármacos e tratamentos para as enfermidades gastroentéricas e o incremento da cobertura educacional.Mais ainda, os programas ou projetos que uma determinada instituição pública desenvolve não respondem a um só objetivo, senão que a um conjunto de objetivos interrelacionados entre si em uma hierarquía de causas-efeitos.A transversalização da política social e a introdução do conceito de usuário único para os cidadãos beneficiários de prestacões e subvenções que se outorgam através de distintos ministérios brinda uma complexidade ainda maior aos intentos de isolar as mudanças na população beneficiária que não são atribuíveis ao acionar de uma instituição pública determinada.Uma das tendências que se tem observado na evolução do gasto público na década de 1990 é o incremento de transferências do setor público a pessoas e empresas. O monitoramento de indicadores de resultados para os programas de transferências de subsidios monetários é especialmente problemático, pois é um dos muitos fatores que afetam os resultados finais para os grupos destinatários das transferencias. F. A avaliação de funcionários e seu vínculo com os sistemas de compensaçãoOs países da região que têm intentado associar o cumprimento de metas com melhorias de salários têm enfrentado a férrea oposição de sindicatos de funcionaários públicos. De igual modo, se há gerado una reação aos intentos de criar “carreras funcionarias” paralelas onde se fixam normas contratuais mais flexiveis e com remunerações maiores às dos demais funcionários (como é o caso das Agencias Next Steps de Inglaterra). Um âmbito que segue gerando controvérsia é a vinculação da avaliação de desempenho institucional à administração de pessoal. No caso do Chile, a partir de 1998 foram outorgados incentivos de remunerações sobre a base da avaliação de desempenho individual e ao cumprimento de metas institucionais ou grupais. Os dirigentes sindicais dos funcionários rechaçam as fórmulas individuais pois fomentariam a competência e rivalidade no interior dos serviços públicos. Em junho de 2003 uma nova lei eliminou o incentivo individual, substituindo-o por um incentivo por desempenho coletivo, o qual estabelece estímulos pecuniários a equipes ou áreas de trabalho que se conformam de acordo com parâmetros funcionais ou territoriais.

Desta experiencia e outras similares, se depreende uma alta possibilidade que os sistemas de incentivos monetários não tenham um impacto positivo sobre a gestão. De fato, na ausência de indicadores pertinentes para o cumprimento da missão institucional e de metas que sejam realmente exigentes, os estímulos monetários não induziriam a melhorias do desempenho pessoal e coletivo, transformando-se somente em um mecanismo para distribuir aumentos de remunerações dos funcionários.G. Institucionalização da função de avaliação de resultadosA localização institucional da avaliação de desempenho dentro do setor público depende das características de cada país. Nas experiências relevantes da região, seu funcionamento inicial tem estado situado nos ministérios de planejamento ou em comitês interministeriais. Posteriomente ao impulso inicial, paulatinamente, os ministérios de facenda e/ou diretorias de orçamento têm assumido esta responsabilidade. Como se assinalou, nos países da região têm sido desenvolvidos sistemas de avaliação associados ao “Plan” e outros vinculados ao “Presupuesto”. Cabe precisar que estas tipologías não são “puras”, pois coexistem sistemas de avaliação da inversão associadas ao aparato administrativo de planejamento, conjuntamente com avaliações do gasto corrente situadas nas instituições de formulação e avaliação orçamentária.Não há uma única resposta ao tema da localização institucional. Qualquer que seja o enfoque que se adote, resultará adequado se existe a firme decisão política de faze-lo funcionar. Contudo, por tratar-se de um instrumento fundamental da gestão pública, é recomendável que a responsabilidade desta função se situe nos organismos encarregados do planejamento estratégico do Estado, cujo vínculo com a Presidencia deve ser direto. Acrescendo, não parece apropriado entregar exclusivamente aos responsáveis pelo orçamento a função de avaliação de resultados, pois estes podem transformar-se em “jueces y parte” do proceso, com o consequente risco de confundir os objetivos de largo prazo de eficiência e eficácia das políticas públicas com as metas de curto prazo de ajuste fiscal. Um aspecto da institucionalização que mantém seu caráter polêmico se refere ao papel das controladorias dos países latinoamericanos na avaliação de resultados. Os países anglosaxões, e especialmente os que dispõem de um sistema parlamentar, tendem a outorgar às controladorias, à parte das tradicionais funções de controle legal e financeiro, papéis relativos a medição de eficiência, efetividade, impacto e obtenção de metas. Na América Latina, quando se examinan experiências tais como as da General Accounting Office de Estados Unidos e da National Audit Office de Gran Bretaña, se visualiza com ceticismo este tipo de arranjos institucionais, quer seja pelas características proprias do presidencialismo latinoamericano, por razões de conflito político em sistemas multipartidários e/ou pelo insuficiente desenvolvimento institucional e dotações de recursos humanos das contraladorias para levar a cabo programas de avaliação da gestão.V. Reflexões FinaisO objetivo principal deste documento é sistematizar as principais reflexões teóricas e avaliações empíricas que têm surgido nos últimos dez anos sobre o uso dos indicadores de avaliação de desempenho. Considerando que este instrumento se está aplicando, ou se está começando a implementar, na maioría dos governos da América Latina se destacam os principais elementos conceituais, desafíos de implementação e passos operacionais para a construção dos indicadores. Os aspectos substanciais destas temáticas que cabe sublinhar são os seguintes:

1. A gestão pública tem evoluido nas últimas décadas desde um modelo burocrático tradicional ao enfoque por resultados. O novo modelo não se centra exclusivamente nos insumos do processo nem no controle externo, mas se enfoca nos impactos da ação pública, onde o relevante são as metas, os resultados, os indicadores de desempenho e os parâmetros comparativos de rendimento. Os critérios orientadores têm que ver com o planejamento estratégico dos organismos públicos, o tipo de vinculação entre a destinação de recursos e o desempenho institucional, a transparência da ação do Estado, e, como corolário do anterior, a busca da mudança de cultura organizacional das entidades públicas.2. Este processo não está isento de dificuldades, pois deve enfrentar obstáculos nas própias deficiências atuais (passar de uma cultura de procedimentos a uma cultura de resultados, orientada ao usuário) e nas limitações externas (baixa remuneração dos funcionários e contínuas mudanças, que têm impedido a emergência de uma estrutura orgânica adequada, com recursos humanos qualificados e especializados).3. A localização institucional da avaliação da gestão pública dentro do setor público depende das características de cada país. Não há uma única resposta ao tema da localização institucional, pois o importante é que exista a firme decisão política de fazer funcionar os sistemas de avaliação. Contudo, ao tratar-se de um instrumento fundamental da gestão pública, é recomendável que a responsabilidade desta função se situe nos organismos encarregados do planejamento estratégico do Estado, cujo vínculo com a Presidencia deve ser direto. Por acréscimo, não parece apropriado entregar exclusivamente aos responsáveis pelo orçamento a função de avaliação de resultados, pois estes podem transformar-se em “jueces y parte” do processo, com o consequente risco de confundir os objetivos de largo prazo de eficiência e eficácia das políticas públicas com as metas de curto prazo de ajuste fiscal. 4. A eficaz incorporação destes novos sistemas de gestão ao aparato público traz uma série de problemas e desafíos estratégicos que é preciso analisar, tanto na fase de desenho como na fase de implementação e avaliação dos mesmos. A transição para a gestão por resultados tem apresentado problemas de medição acima dos esperados. Frequentemente os servicços públicos na América Latina não têm sistemas adequados de informação, o que obriga a construir indicadores de resultados de acordo com a informação disponível, o que não necessariamente se refere aos fatores críticos para a consecução dos objetivos estratégicos. 5. A seleção e construção de indicadores de avaliação de desempenho avança substantivamente quando os organismos públicos são capazes de formular exercícios de planejamento estratégico que priorizam os recursos e a atenção na melhoria da gestão sobre aqueles produtos que são chaves para ol cumprimento da missão institucional. De igual modo, na etapa de monitoramento e acompanhamento, a metodología de quadro de mando integral ou balanced scorecard permite interrelacionar de forma sinérgica os indicadores de desempenho para medir em conjunto a consecução dos objetivos estratégicos desde o ponto de vista dos usuários, da instituição, do programa de governo, os processos internos, a inovação e a aprendizagem.6. Os esforços de implementação de sistemas de avaliação de desempenho são trabalhosos e consumem tempo e energía. Ademais, a dinâmica inercial da destinação orçamentária nem sempre oferece incentivos para seguir aprofundando o sistema. Em numerosos países a orientação para resultados tem servido para modificar tangencialmente

prioridades programáticas e modificar alguns procedimentos de trabajo, porém somente ocasionalmente seus resultados se incorporam nas decisões orçamentárias. 7. Os países anglosaxões que têm mais de uma década na implementação de programas de gestão orientados aos resultados têm uma perspectiva mais crítica que os primeiros informes que documentaram as iniciativas de Nova Zelandia, Australia e Inglaterra. Na atualidade, entre outras limitações, estes países reconhecem que a transição para a gestão por resultados é tanto um problema de medição como um problema de mudança de mentalidade em todos os níveis gerenciais. Estes governos têm reconhecido que o enfoque de suas reformas públicas têm tido um foco excessivo na eficiência e não tanto na efetividade, con ausência de vínculos claros entre as políticas. 8. Os países da América Latina que estão iniciando a implementação de iniciativas de gerência pública, que contemplam o uso dos indicadores de avaliação de desempenho como uma ferramenta de medição de resultados e de melhoria da gestão, devem considerar a visão crítica sobre as fortalezas e debilidades do processo por parte dos países da América Latina e da OCDE que levam a un caminho percorrido com acertos e erros. Finalmente, é necessário assinalar que os processos de modernizacção do Estado e de mudança de cultura organizacional exigem grande esforço . Nos l países em que estas reformas obtiveram êxito, a asociação da gestão orientada por resultados a avanços substantivos em técnicas de orçamentação plurianual tem fomentado a adoção de um enfoque de longo prazo em todas as esferas de governo. O principal objetivo de uma gestão por resultados é,então, apoiar o processo de formulação de planos e programas em uma visão plurianual, centrando os esforços face a uma adequada destinação dos recursos públicos, fixando critérios tanto no âmbito do gasto corrente como nos sistemas de investimento público. A avaliação dos programas de gasto de capital que executa o que contrata o setor público cobra uma importância estratégica, dado seu impacto sobre o crescimento econômico de largo prazo e o desenvolvimento territorial.

VI. Bibliografía

Allen, Richard y Tommasi, Daniel, eds. (2001), “Managing Public Expenditure: A Reference Book for Transition Countries”, OECD, París. Arellano, David; Gil, José; Ramírez, José y Rojano, Ángeles (2000): “Reformas presupuestales dirigidas a resultados: Nueva Zelanda, Reino Unido, Australia y México. Una aproximación crítica.”, Centro de Investigación y Docencia Económicas, Documento de Trabajo 84, México.Banco Mundial (2003): “Getting Serious About Meeting the Millenium Development Goals: A Comprehensive Development Framework Progress Report”, Washington D.C. _____ (1998): “Public Expenditure Management Handbook”, Washington D.C.Blondal, Jon (2003): “Accrual Accounting and Budgeting: Key Issues and Recent Developments”, en Gestión Pública por Resultados y Programación Plurianual, Serie Seminarios y Conferencias N°29, ILPES-CEPAL, Santiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf CEPAL (1998): “El Pacto Fiscal. Fortalezas, debilidades, desafíos”, Comisión Económica para América Latina y el Caribe, Naciones Unidas.

Cunill, Sonia y Ospina, Nuria (2003): Evaluación de resultados para una gestión pública moderna y democrática: experiencias latinoamericanas. Caracas: CLAD.Dirección de Presupuestos de Chile (2003): “Programa de Mejoramiento de la Gestión Año 2004, Documento Técnico”. ______ (1995): “Guía para la Construcción de Indicadores de Desempeño en los Servicios Públicos”.Guzmán, Marcela (2001): “Evaluación de Programas e Indicadores de Desempeño Transparencia y Mejoramiento de los Procedimientos para la Discusión Presupuestaria”, Dirección de Presupuestos, Ministerio de Hacienda de Chile._____ (2003): “Sistema de Control de Gestión y Presupuestos por Resultados: la Experiencia Chilena”, en Gestión Pública por Resultados y Programación Plurianual, Serie Seminarios y Conferencias N°29, ILPES-CEPAL Santiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf Haggard, Stephan (1995): “Reform of the State in Latin America”, en The challenges of reform: proceedings of an annual World Bank conference, Burki, Edwards, y Aiyer (eds.), Washington, DC: World Bank. Hernández, Misael (2002): “Evaluación del desempeño de las organizaciones públicas a través de la calidad”, ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal.Lizana, Leoncio (2002): “ABC: Costeo Basado en Actividades”, Revista Gerencia, Junio 2002. Kristensen, Jens; Groszyk, Walter y Bühler, Bernd (2002): “Outcome-focused Management and Budgeting”, OECD Journal on Budgeting, Vol 1, Nº4, Paris.Mackay, Keith (1998): “Public Sector Performance: The Critical Role of Evaluation”, World Bank Operations Evaluation Department. Marcel, Mario (1998): “Indicadores de Desempeño como instrumento de modernización en el Estado de Chile”, Perspectivas en Política, Economía y Gestión, Nº 1, Vol. 2, Mayo, Departamento de Ingeniería Industrial de la Universidad de Chile, Santiago de Chile.Mokate, Karen Marie (2001): “Eficacia, eficiencia, equidad y sostenibilidad: ¿qué queremos decir?” Instituto Interamericano para el Desarrollo Social – INDES, Documento de Trabajo I-24, Washington D.C.Ministerio de Economía y Finanzas del Perú (2000): “Medición y Evaluación del Desempeño en la Administración Pública”, Documento de Trabajo del MEF, Lima.Ministério do Planejamento, Orçamento e Gestão (2002 a): “Lei de Diretrizes Orçamentárias para 2003: Anexo de Metas e Prioridades”, Ley Nº 10.524 de 25/7/2002, Brasil.(Ver en http://www.planalto.gov.br/ccivil_03/Leis/2002/anexos/L10524-02-Anexoii.pdf )_____ (2002 b): “Avaliação Anual do Plano Plurianual: Relatório Anual de Avaliação do PPA - Exercício 2001”, Brasil. Ver en http://www.abrasil.gov.br/avalppa/relavalppa2001/default.htm ._____ (2000): “Primeira Pesquisa Nacional de Avaliação da Satisfação dos Usuários dos Serviços Públicos”, Brasil.http://www.planejamento.gov.br/arquivos_down/seges/publicacoes/ PrimeiraPesquisaNacional.PDF .Mora, Mario (2003): “El Sistema Nacional de Evaluación de Costa Rica”, en Evaluación de resultados para una gestión pública moderna y democrática: experiencias latinoamericanas. Caracas: CLAD.

National Center for Public Productivity(1997): A Brief Guide for Performance Measurement in Local Government, Rutgers University Press, New Jersey.Ormond, Derry y Löffler, Elke (1999): “Nueva gerencia pública: ¿qué tomar y qué dejar?”, Reforma y Democracia, N° 13, febrero 1999.Oró i Vendrell, Marc (2002): “Los instrumentos de gestión de la información como motor de cambio hacia una nueva administración pública”, ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal.Ruffner, Michael (2003): “Overview of Results-Focussed Management and Budgeting in OECD Member Countries”, en Gestión Pública por Resultados y Programación Plurianual, Serie Seminarios y Conferencias N°29, ILPES-CEPAL, Santiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf Schick, Allen (1966): “The Road to Program and Performance Budgeting: the Stages of Budget Reform”, Public Administration Review, vol. 26, Diciembre, American Society for Public Administration._____ (2002): “¿La Presupuestación tiene algún futuro?”, Serie Gestión Pública Nº21, ILPES-CEPAL, Santiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/6/LCL1736P/lcl1736e.pdf Shack, Nelson (2003): “Indicadores de Desempeño en los Organismos Públicos del Perú”, en Gestión Pública por Resultados y Programación Plurianual, Serie Seminarios y Conferencias N°29, ILPES-CEPAL Santiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf Turull, Jordi y Vivas, Carlos (2003): “El cuadro de mando integral en la administración pública: el caso del Ayuntamiento de Sant Cugat del Vallès”, ponencia presentada en el VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá.Wholey, Joseph y Newcomer, Kathryn (1989), Improving Government Performance, Jossey Bass Public Administration Series, San Francisco, California.