Embed Size (px)
Citation preview
8º Encontro da ABCP 01 a 04/08/2012, Gramado, RS
Área Temática: Ensino e Pesquisa em Ciência Política e Relações Internacionais
Título do trabalho: Do órgão público à política: discutindo uma proposta metodológica para avaliar política pública Autores: Andréa Freire de Lucena (UFG)
Luciana de Oliveira Dias (UFG) Sandro Eduardo Monsueto (UFG)
Do órgão público à política: discutindo uma proposta metodológica para avaliar política pública
Andréa Freire de Lucena1 Luciana de Oliveira Dias2
Sandro Eduardo Monsueto3
A ação do governo tem sido discutida por várias correntes do
pensamento econômico, político e social. As discussões remontam à
diminuição da capacidade do governo em ofertar políticas públicas capazes de
suprir as demandas crescentes. A conjugação de demandas crescentes e
recursos escassos, na verdade, tem causado uma busca pela melhoria na
qualidade das políticas públicas implantadas, especificadamente por meio de
mudanças na gestão pública.
Reforma do estado, reinvenção do governo, indicadores de
desempenho, privatização, contrato de prestação de serviço são expressões
bastante utilizadas nestas últimas três décadas com a finalidade de propor
modificações no processo de gestão pública. Os defensores dessa abordagem
afirmam que o governo deve ser competitivo, descentralizado e orientado pelos
resultados. O cidadão e o gestor público, neste contexto, devem ter
comportamento parecido com o consumidor e com o empreendedor,
respectivamente. Entretanto, evidências empíricas têm mostrado que as
melhorias alcançadas são aquém do esperado. Apesar disso, existe um
consenso de que a administração pública, seja ela federal, estadual ou
municipal, precisa ser avaliada, pois só é possível melhorar aquilo que se
conhece.
A avaliação de políticas públicas tem sido um instrumento eficaz de
gestão, mas a maioria dos trabalhos procura avaliar a elaboração e a execução
1 Doutora em Relações Internacionais (política internacional comparada) pela Universidade de
Brasília. Professora da graduação em Ciências Econômicas e do mestrado em Ciência Política da Universidade Federal de Goiás (UFG). Atua nas seguintes linhas de pesquisa: regime e política comercial, avaliação de políticas públicas. 2 Antropóloga, doutora em Ciências Sociais pela Universidade de Brasília (UnB). Professora da
graduação em Ciências Sociais e do mestrado em Direitos Humanos da Universidade Federal de Goiás (UFG). Atua nas áreas de Antropologia da América Latina, Direitos Humanos, Relações Étnico-raciais e de Gênero e Políticas Públicas. 3 Doutor em Economia pela Universidad Autónoma de Madrid, professor do curso de Ciências Econômicas da Universidade Federal de Goiás (UFG). Possui como principais linhas de pesquisa: mercado de trabalho e estatística socioeconômica.
da política em si. Torna-se necessário, portanto, averiguar o órgão público que
elabora e executa a política. Esse artigo pretende realizar uma discussão sobre
metodologia de avaliação de políticas públicas a partir do órgão público,
enfatizando quatro abordagens: aprendizado e crescimento, eficiência, eficácia
e efetividade.
A primeira parte discorre sobre algumas concepções de administração
pública, sobremaneira aquelas centradas no governo empreendedor, e destaca
evidências empíricas sobre os resultados que têm sido alcançados. Procura-se
discutir também alguns aspectos que merecem ser considerados no processo
de elaboração, execução e avaliação de políticas públicas. A segunda parte
conceitua avaliação, eficiência, eficácia e efetividade, enfatiza a importância de
se ter indicadores que sirvam de parâmetros para analisar as ações de governo
e define o balance scorecard como uma metodologia que pode ser utilizada na
avaliação de órgãos públicos. A terceira parte propõe, a partir do balance
scorecard, um índice de desempenho centrado em macro e meso indicadores.
Por fim, o último item faz uma breve discussão sobre o que fazer depois da
avaliação.
1 – Administração pública: concepções e evidências empíricas
O termo reinventando o governo ficou bastante conhecido, em 1992,
depois da publicação do livro Reinventing Government de David Osborne e Ted
Gaebler e da decisão da administração do então presidente norte-americano
Bill Clinton de criar a Revista Nacional de Desempenho (NPR, em inglês). No
livro, os autores defendem a necessidade de o governo reforma-se devido
principalmente ao descontentamento dos cidadãos, à competitividade do
mercado global e a revolução da tecnologia de informação (LENKOWSKI;
PERRY, 2000). Muitos países, incluindo Estados Unidos, Inglaterra, Nova
Zelândia, adotaram a ideia da gestão para resultados baseada tanto no
incremento do desempenho quanto da autoridade gerencial.
As informações sobre o desempenho do órgão e do funcionário público,
de acordo com essa concepção de governo empreendedor, melhoram o
resultado da política pública já que os gestores públicos, que trabalham em um
contexto de controle gerencial descentralizado, podem avaliar se os objetivos
previamente estipulados estão sendo alcançados. Tais objetivos, para tanto,
devem estar expressos em um planejamento estratégico de curto e longo prazo
e devem ser mensurados. A avaliação dos resultados, neste contexto, é feita a
partir de uma comparação entre os objetivos ex ante e os resultados ex post
(OSBORNE; GAEBLER, 1992). Cabe destacar que o governo reinventado
pode alcançar melhores resultados se agir como uma empresa que possui
funcionários e consumidores.
Os governos que têm procurado reinventar suas administrações públicas
devem ser estudados com mais atenção. Uma questão prioritária que merece
ser pensada é se o órgão público consegue seguir a mesma lógica da firma.
Caso consiga, então, pode-se concluir que o consumidor da empresa tem
características parecidas com o usuário do serviço público. Caso não consiga,
urge-se pensar sobre como deve ser a atuação do órgão público, inclusive de
seus gestores e usuários.
A interação entre empresa e consumidor, entretanto, é diferente da
interação entre governo e usuário, pois o sistema de troca é diferente. No
primeiro caso, tem-se fortemente a presença de algo material e concreto que
deve ser dado ao consumidor em troca de algo também material. Na relação
entre governo e usuário surgem também aspectos simbólicos e normativos,
como responsabilidade do administrador público e necessidade de cooperação
do usuário. O usuário, na verdade, não é apenas um consumidor, mas também
um cidadão que participa do sistema de troca (ALFORD, 2002).
Battaglio e Legge (2009), por exemplo, demonstraram que as atitudes
individuais a favor da privatização do setor elétrico em países de economias
desenvolvidas e de economias em transição podem ser explicadas por
variáveis como predisposições simbólicas, auto-interesse e características
pessoais. Nesse último caso, De Leon e Denhardt (2000) destacaram a
importância decisória dos cidadãos que têm elevado nível de escolaridade.
O governo, na tentativa de fazer mais se concentrando em poucas
funções, tem transferido algumas atividades para prestadores de serviços
privados por meio de contratos. Ferris e Graddy (1991) defendem que essa
transferência pode diminuir custos e aumentar a eficiência e eficácia do
serviço. Milward (1996), ao contrário, afirma que esses contratos diminuem a
qualidade do serviço. Leland e Smirnova (2009), analisando o serviço de
transporte coletivo urbano nos Estados Unidos, perceberam que a eficiência do
serviço não tem correlação com o fato de o seu ofertante ser um ente público
ou privado.
Brown e Potosky (2003) investigaram o que faz um contrato de
prestação de serviço dar certo e concluíram que a capacidade gerencial do
governo e a existência de condições externas favoráveis, como apoio da
comunidade, aumentam a probabilidade de a prestação de serviço ser
adequada. Van Slyke (2003), além do mais, enfatizou que a falta de
capacidade gerencial do governo impede que o serviço prestado seja de
qualidade e mina a confiança dos cidadãos no governo.
Yang, Hsieh e Li (2009) analisaram quatro tipos de capacidade do
governo (agenda, formulação, execução e avaliação) e relacionaram com três
indicadores de desempenho (custo, eficiência e qualidade). Eles concluíram
que a modalidade de prestação de serviço por meio de contrato tem benefícios
e custos e que a existência de um forte sistema de avaliação pode auxiliar na
redução de custo. Entretanto, a presença de uma relação colaborativa entre
governo e prestador de serviço é uma condição necessária para garantir
contratos com elevado desempenho.
O contexto institucional, incluindo o normativo, deve ser também levado
em consideração, já que as reformas criam novas regras e procedimentos e
alteram o ambiente e as práticas pessoais do gestor público. Este último,
segundo Kellough e Selden (2003), afeta diretamente o processo de
elaboração, execução e avaliação da política pública, por isso a sua percepção,
e não apenas o seu desempenho, deve ser considerada no processo.
A dimensão política, de acordo com Ni e Bretschneider (2007), influencia
fortemente nas decisões do governo. As escolhas da política pública e das
práticas gerenciais obedecem tanto uma lógica econômica, baseada no
desempenho, quanto uma racionalidade política, que possui interesses próprios
e, dentre outros aspectos, está preocupada com a representatividade
(BOURDEAUX; CHIKOTO, 2008). Neste contexto, os benefícios de uma
política pública devem ser calculados pelos ganhos de eficiência e pelo custo
de oportunidade.
Riccucci e Thompson (2008) asseveram que o aspecto político deve ter
mais peso que o econômico. Ingraham (2006), além do mais, teme que a
ênfase no mercado faça com que o gestor público perca contato com a sua
função principal que é trabalhar para o público. Acreditando que o gestor
público não tem uma bondade intrínseca e um comprometimento inato com os
valores democráticos, Kassel (2008) conclui que seguir regras e procedimentos
traz mais benefício que prejuízo.
Haruna (2003) enfatiza que mudanças institucionais são graduais, às
vezes lentas, e, para serem efetivas, devem levar em consideração os
aspectos culturais que, para serem modificados, necessitam ser
compreendidos coletivamente. A existência de um líder, segundo Thompson
(2000), que compreenda o grupo e que atue de maneira cooperativa com cada
um do grupo é condição necessária para a realização de mudanças
institucionais.
Moynihan (2006), avaliando a reforma da administração pública dos
Estados Unidos nos anos 90, percebeu que o governo conseguiu elaborar o
planejamento estratégico e melhorou seus indicadores de desempenho, mas
teve dificuldade em aperfeiçoar a autoridade gerencial. Cabe destacar que
Brudney, Hebert e Wright (1999) já haviam mostrado anteriormente que a
reforma norte-americana estava intrinsecamente associada com dois conceitos,
resultado e desempenho.
Williams (2000) enfatiza que há inconsistência entre a teoria do governo
empreendedor e a aplicação dessa teoria. Segundo ele, os governos que
decidiram se reinventar não conseguiram alcançar os resultados esperados.
Eikenberry e Kluver (2004) asseveram que a ênfase no empreendedorismo é
incompatível com práticas democráticas e com o interesse público, já que a
governança cidadã baseada na comunidade (REED; MEYER, 2004) e o
engajamento cívico (DELEON; DENHARDT, 2000) tem sido substituídos pelo
culto à eficiência.
Bozeman (2007) destaca que as abordagens baseadas no mercado não
são erradas ou prejudiciais, mas defende que elas devem se guiar pelo valor
público. Os objetivos de uma política pública devem ser direcionados de forma
a maximizar o bem-estar coletivo e os resultados esperados pela sociedade
civil, já que eles são, segundo Aragão (1997), o valor social do produto gerado
pela política adotada. Na verdade, o governo deve conduzir suas atividades por
meio do interesse público, lógica coletiva e do bem comum. O grande desafio,
de acordo com Kernaghan (2000), é conseguir adotar valores públicos dentro
do mercado, já que o valor público inclui tanto a existência de direitos e
responsabilidades individuais quanto à garantia de participação nos processos
políticos (HAQUE, 2001).
Denhardt e Denhart (2000) afirmam que a busca pela eficiência e pela
produtividade não deve ser deixada de lado, já que o que não é avaliado ou
medido pode ser ignorado (RADIN, 2006 apud ROSENBLOOM, 2007).
Contudo, tal busca deve fazer parte de um contexto permeado por práticas
democráticas e inclusivas, já que a inexistência de mecanismos que possam
agregar e articular os agentes (cidadãos, governo) pode fazer com que o valor
público não seja seguido (BOZEMAN, 2002).
2 – Avaliação, eficiência, eficácia, efetividade e indicadores: uma abordagem conceitual
O conceito de avaliação pode referir-se à análise de processos, produtos
ou resultados de atividades, que compreende ações desenvolvidas.
Sucintamente, a avaliação pode ser utilizada como instrumento direcionado a
programas ou políticas públicas. A concepção de avaliação é merecedora de
maior aprofundamento teórico e metodológico. Destaca-se, como o faz Belloni,
Magalhães e Souza (2001, p.20) que “a avaliação é uma forma de pesquisa
social aplicada, sistemática, planejada e dirigida”. A avaliação permite
averiguar a extensão e o grau de determindas ações, o que, por sua vez,
favorece uma tomada de decisões racional e inteligente, já que permite
solucionar problemas, promover conhecimentos e compreender fatores
associados ao êxito ou ao fracasso de resultados alcançados.
A avaliação, que envolve dois tipos de participantes, quais sejam os
sujeitos internos (os formuladores da política, os executores das atividades e
os beneficiários das atividades) e externos (os avaliadores profissionais e a
sociedade), permite conhecer e viabilizar programas e projetos, indicando
necessidades de redirecionamento de seus objetivos ou de reformulação de
propostas e fornecendo subsídios para tomadas de decisão. Cohen e Franco
(1993) lembram que a eficácia de projetos sociais e administrativos está
intimamente relacionada a uma avaliação dos resultados e de sua aplicação.
A avaliação pode ser realizada em diferentes momentos, podendo ser
prospectiva ou concomitante à execução das ações. Destaca-se que ela deve
abranger o processo de formulação e implementação das ações e dos
resultados. Seu objetivo é converter-se em um instrumento fundamental para o
aperfeiçoamento ou reformulação das ações desenvolvidas. Além do mais, a
avaliação é uma ferramenta que possibilita prestar contas à sociedade das
ações governamentais. Ao considerar que a avaliação de políticas públicas
permite também reportar à qualidade dos resultados, os conceitos de
eficiência, eficácia e impacto são importantes por subsidiarem a tradução da
avaliação do planejamento, do desenvolvimento e da execução da política
pública como um todo (ALMEIDA, 2008).
Ao direcionar a atenção para avaliação de políticas ou programas
governamentais relacionados à transformação da Administração Pública,
evidenciam-se questões de efetividade, eficiência, eficácia e desempenho da
gestão pública (CUNHA, 2006). A seguir alguns destaques sobre cada um
destes pontos.
A eficiência diz respeito à relação entre o previsto e o realizado,
buscando combinar os insumos e implementos necessários à consecução dos
resultados visados (BELLONI, MAGALHÃES; SOUZA, 2001). Abrange
metodologias, procedimentos e instrumentos de planejamento, projeção e
tratamento e considera a relação entre custo e benefícios, buscando a
minimização do custo total ou a maximização do produto. A análise da
eficiência se dá pela comparação entre os custos de oportunidade de uma
política pública.
A eficácia corresponde ao resultado de um processo, ou seja, o
resultado efetivamente alcançado. Se expressa pelo grau de qualidade do
resultado atingido e depende da eficiência para ser atingida. Para Almeida
(2008), a eficácia é o resultado da interação entre uma intervenção exógena a
uma dinâmica social endógena. Neste sentido, eficiência e eficácia são
conceitos inter-relacionados e interdependentes, pois ao mesmo tempo em que
existe certo grau de autonomia, um pressupõe o outro (BELLONI;
MAGALHÃES; SOUZA, 2001).
A efetividade social procura acompanhar os resultados tanto econômicos
quanto sociais de uma política pública. Quando os critérios de avaliação
enfocam os aspectos econômicos, as necessidades e interesses dos cidadãos
são considerados indiretamente; quando são enfatizadas as dimensões sociais,
o foco da política pública centraliza-se predominantemente nos interesses e
nas necessidades dos cidadãos. Um aspecto importante da avaliação da ação
pública é a identificação dos seus efeitos. O sucesso ou o fracasso da política
pode ser avaliado considerando se os seus objetivos foram alcançados e,
também, considerando os efeitos indiretos sobre a sociedade.
Os indicadores de resultados são utilizados para a realização da
avaliação. Um indicador pode ser definido como uma medida dotada de
significado social substantivo. Essa medida, com valor quantitativo ou
qualitativo, é usada para substituir ou operacionalizar um conceito social
abstrato, em geral de interesse teórico (para a pesquisa acadêmica) ou
programático (para a formulação, análise e avaliação de políticas) (JANNUZZI,
2005).
A definição de um indicador, ou um conjunto deles, é uma tarefa de
abstração, que tem por objetivo identificar as características essenciais de
determinada realidade e expressá-las na forma de valores quantificáveis e/ou
qualificáveis. Trata-se de um processo reducionista, ou seja, nenhum sistema
de indicadores, por mais complexo e sofisticado que seja, será capaz de
expressar a realidade exatamente como ela é. Algum elemento desta realidade
sempre se perderá, o que pode ser compensado concebendo-se um sistema
de indicadores capaz de evidenciar os elementos determinantes das
configurações social, econômica, cultural e política desta realidade.
Metodologicamente, os indicadores são agrupados segundo diferentes
classificações que expressam diferenças entre as fontes de origem dos dados e
informações geradoras do indicador, as técnicas usadas na sua construção ou a
finalidade de sua aplicação (JANNUZZI, 2005). Para fins de avaliação de execução
da política, essas classificações têm pouca importância prática, sendo o
fundamental nesse caso ter um conjunto, ou sistema, de indicadores quantitativos e
qualitativos que permitam entender e avaliar o resultado concreto da atuação da
organização em questão.
O Balanced Scorecard (BSC), além de ser um sistema de descrição e
execução dinâmica e não linear da estratégia, é um sistema de avaliação de
desempenho e sua essência está na constatação de que não se pode
gerenciar o que não se pode medir. O conceito do BSC é o de um sistema de
mensurações balanceado que equilibra os indicadores financeiros com outros
indicadores não-financeiros (SILVA NETO et al., 2006).
A utilização do BSC permite buscar a maximização dos resultados da
avaliação do setor público e está vinculada aos conceitos de efetividade, eficácia e
eficiência. O seu uso exige a incorporação de instrumentos gerenciadores do
alinhamento e do foco dos programas. O BSC, desenvolvido por Kaplan e Norton
(1996; 2000), avalia o desempenho organizacional sob 4 perspectivas diferentes,
quais sejam:
Perspectiva financeira: desempenho financeiro na promoção de crescimento
sustentável para acionistas;
Perspectiva do cliente: medir sucesso com os clientes (satisfação, retenção e
crescimento);
Perspectiva dos processos internos: proposição de valores para clientes,
tendência de melhorias, impacto junto a clientes e resultados financeiros;
Perspectiva do aprendizado e crescimento: descreve como pessoas,
tecnologia e clima organizacional sustentam a estratégia.
A interligação dos objetivos em relação de causa e efeito nas quatro
perspectivas do BSC gerou representações gráficas em que os objetivos das quatro
perspectivas são interligados para descrever e visualizar a estratégia. Chamada de
mapa estratégico, ele descreve a lógica da estratégia, mostrando os objetivos dos
processos internos críticos que criam valor e os ativos intangíveis necessários para
respaldá-los (KAPLAN; NORTON, 1996; 2000).
O mapa estratégico e o BSC possuem a capacidade de identificar e
descrever a estratégia e buscar o alinhamento de toda a organização com o objetivo
comum de tornarem efetivos os resultados pretendidos pelo programa. Permitem
ainda a avaliação em qualquer fase de execução. Pode ser adaptado para que seja
adotado por qualquer órgão da administração pública para a avaliação de seus
programas.
As quatro perspectivas estratégicas na proposta metodológica que será
discutida na próxima sessão são Efetividade (busca verificar os resultados
alcançados e objetivos pretendidos ao longo do tempo das ações da
administração pública para a sociedade), Eficácia (busca considerar o grau em
que os objetivos e as finalidades do governo são alcançados), Eficiência (visa
fornecer os elementos que impulsionarão a estratégia para o alcance dos
resultados perseguidos nas perspectivas da efetividade e da eficácia) e
Aprendizado e Crescimento (tem o objetivo de alinhar os ativos intangíveis com a
estratégia da organização e apresenta os seguintes componentes: capital
humano, capital da informação e capital organizacional).
3 – Proposta metodológica para a construção de um indicador de desempenho
Considerando a discussão anterior sobre avaliação de políticas e órgãos
públicos, a presente sessão tem como objetivo apresentar uma proposta geral
de indicador de desempenho. O índice está construído de acordo com quatro
componentes principais, denominados de Macro Indicadores e que
representam o escopo da metodologia Balanced Scorecard, como permite
visualizar o esquema da Figura 1, seguindo o proposto em Silva Neto et al.
(2006).
Figura 1 - Proposta de construção do Índice de Desempenho da Instituição baseado no BSC: macro e meso indicadores
Fonte: elaboração própria.
O método Balanced Scorecard possibilita uma aproximação da avaliação
de desempenho para órgãos e políticas públicas em geral. A análise do
desempenho geral do órgão que se deseja avaliar deve envolver a conjugação
de diversas informações provenientes de base de dados distinta e heterogênea
tanto em seu formato como também no uso de cada base (SILVA NETO et al.,
2006).
Desta forma, seguindo a classificação de Januzzi (2005), o índice de
desempenho é um indicador sintético subjetivo, uma vez que é construído de
forma a considerar a avaliação do grupo de pesquisadores ou gestores
responsáveis pela análise do desempenho do órgão, com base em
informações coletadas de pesquisas de opinião pública ou grupos de discussão
e dados estatísticos internos, como planilha de custos, lista de fornecedores,
número de atendimentos etc.
Cada componente é formado por conjunto de meso indicadores, que
delimitam diversos aspectos do órgão e de seu relacionamento com a
sociedade em geral. O primeiro macro indicador discute a avaliação do órgão
no que diz respeito ao seu processo de aprendizado e crescimento,
considerando sua estrutura de capital humano, capital da informação e capital
organizacional. O segundo macro indicador tem a função de analisar a
eficiência do órgão avaliado em termos de gestão de seus beneficiários,
fluxograma de atividades, sociedade civil e fornecedores.
O terceiro macro indicador se dedica a avaliar o nível de eficácia,
considerando as metas estabelecidas pelo órgão para cumprir sua missão com
a sociedade, envolvendo os processos de licitações, controles internos,
monitoramento de fornecedores etc. Por último, o macro indicador de
efetividade do órgão observa e avalia o nível de satisfação dos usuários e o
impacto sobre indicadores econômicos.
Por sua vez, cada um dos denominados meso indicadores é composto
por um conjunto de micro indicadores com a função de captar aspectos
específicos de cada enfoque. Desta forma, o pesquisador ou grupo de
pesquisadores pode avaliar cada aspecto e fornecer uma nota, por exemplo, de
0 a 100. O Índice de Desempenho do Órgão será formado, então, pela média
aritmética das notas, seguindo os ramos da Figura 1. Esta etapa consiste em
mensurar a eficácia do indicador da organização a partir dos resultados
auferidos no campo, ou seja, em classificar em níveis de eficiência, eficácia e
efetividade o resultado de campo referente ao indicador analisado. Essa é a
fase em que a equipe de pesquisadores pondera sobre a colaboração de cada
indicador para a ação de política pública ou da organização por meio da análise
do efeito que este provoca na sociedade.
Ao todo, o índice é composto por dez meso indicadores de aprendizado,
eficiência, eficácia e efetividade. Cabe ao pesquisador ou gestor público avaliar
e dar notas para cada um destes elementos, utilizando um conjunto de micro
indicadores que capta funções e características especificas do órgão em
análise. Os quadros 1 a 10 apresentam uma proposta geral de como esses
micro indicadores podem ser conseguidos e avaliados. O princípio é o mesmo
em cada um dos quadros.
A primeira coluna mostra micro indicadores que podem ser analisados,
enquanto a segunda coluna mostra um conjunto de questões que devem ser
respondidas para balizar o pesquisador ou gestor em sua avaliação. A terceira
coluna é o espaço reservado para a nota dada pelos avaliadores em cada
quesito. Neste caso, a recomendação é seguir o seguinte padrão: 0 para
indicador não manifestado (sai da análise), 0,25 para efeito ineficaz ou
ineficiente do indicador, 0,5 para efeito moderado do indicador (moderada
eficácia ou eficiência), 0,75 para um bom efeito (boa eficácia ou eficiência) e 1
para ótimo efeito.
Esses números serão as notas para cada micro indicador avaliado e, por
isso, serão seus multiplicadores. Isto é, a nota do gestor ou da equipe para
cada efeito provocado será multiplicada pelo peso final de cada indicador e da
categoria de análise. Este peso é colocado pela equipe de pesquisadores na
última coluna de cada quadro.
O pesquisador pode buscar responder às questões propostas em cada
um destes quadros tanto por meio de levantamentos internos nos registros da
instituição (departamento pessoal, controle de fornecedores, registro de
contratos etc.) como também por meio de questionários aplicados a grupos de
servidores, fornecedores, usuários ou ainda outros órgãos que utilizam ou
compartem serviços prestados pelo órgão avaliado.
Os quadros 1, 2 e 3 mostram os micro indicadores que podem ser
utilizados para avaliar o aspecto de aprendizado e crescimento do órgão.
Este enfoque descreve como pessoas, tecnologia e ambiente organizacional se
conjugam para atingir os objetivos propostos pelo órgão. Em outras palavras,
os quadros têm como principal objetivo avaliar como os componentes
intangíveis do órgão (qualificação, informação e organização) estão sendo
empregados para atingir as metas estabelecidas.
Os micro indicadores de capital humano, como demonstrado no quadro
1, captam a qualificação atual dos indivíduos responsáveis pela execução das
tarefas e seu interesse em aumentar seu próprio estoque de capital humano. A
intenção é verificar quais cursos os servidores têm frequentado e se há
interesse em participar de novos cursos.
Quadro 1 – Meso indicador de capital humano: proposta de micro indicadores e
questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos avaliadores
Qualificação atual dos servidores
Qual a proporção de servidores com ensino superior completo ou com pós-graduação?
A instituição incentiva a realização de cursos de especialização na área de trabalho?
Cursos realizados pelos servidores
Os cursos ofertados estão direcionados aos trabalhos realizados?
Existe variedade de temas?
Como os servidores avaliam os cursos realizados?
Existe variedade de cursos de curta e de longa duração?
A disponibilidade de horários atende aos servidores?
Interesse em realizar novos cursos
Os servidores demonstram interesse em participar de novos cursos?
Qual a proporção de servidores que gostariam de novos cursos?
Avaliação Geral (média) Fonte: elaboração própria.
A perspectiva do capital da informação, como pode ser visto no quadro
2, avalia se as informações geradas pelos aplicativos e sistemas de registro
são usadas para gerar facilidade no acesso a informações necessárias para o
funcionamento das atividades. O objetivo “principal é disponibilizar sistemas de
informação, de infraestrutura e de aplicativos de gestão do conhecimento
necessários para executar o programa” (SILVA NETO et.al., 2006, p.11).
Quadro 2 – Meso indicador de capital da informação: proposta de micro indicadores e de questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos
avaliadores
Percepção dos demais órgãos públicos que utilizam serviços da instituição
Ocorreram melhorias na resolução de problemas?
Aumentou a disponibilidade de informações sobre os serviços prestados?
Ocorreu uma melhora na agilidade no processo de solicitação do serviço?
Percepção dos fornecedores
Como são realizadas as compras para a instituição?
Como os fornecedores avaliam a disponibilidade de informação no momento de participar de algum processo licitatório?
Avaliação (média) Fonte: elaboração própria.
Por último, o capital organizacional, de acordo com o quadro 3, tem por
objetivo a conscientização e a internalização da visão e dos valores
necessários para a execução do programa e dos resultados, além de fomentar
o compartilhamento de conhecimentos e de recursos dos servidores em suas
respectivas funções. Em outras palavras, este capital é a capacidade da
organização de executar os objetivos estratégicos.
Quadro 3 – Meso indicador de capital organizacional: proposta de micro
indicadores e questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos avaliadores
Conhecimento da missão da instituição
Qual a proporção de servidores que conhece a missão e os objetivos da instituição?
Compartilhamento de informações
Os servidores conseguem compartilhar informações entre seus pares com facilidade?
Os servidores com mais tempo de serviço têm repassado aos mais novos as informações necessárias?
Número de reuniões realizadas
São realizadas reuniões periódicas entre os servidores ou grupos de trabalho?
Como os servidores avaliam a quantidade de reuniões realizadas?
Os servidores avaliam como produtivas essas reuniões?
Os servidores com mais tempo de serviço percebem como cansativas e repetitivas as reuniões?
Facilidade de resolução de problemas
Qual a proporção de servidores que afirma ter facilidade pra resolver problemas internos?
Essa proporção é maior entre os servidores com mais tempo de serviço?
Avaliação (média) Fonte: elaboração própria.
As principais fontes de informação para que os gestores realizem a
avaliação destes indicadores são os relatórios do departamento pessoal e a
aplicação de questionário sobre uma amostra de servidores lotados no órgão.
Além disso, existe a necessidade de se captar a percepção das empresas ou
órgãos que utilizam e que fornecem serviços ao órgão em análise.
Quadro 4 – Meso indicador de serviços executados: proposta de micro indicadores e questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos
avaliadores
Número de serviços ou solicitações
Qual o volume de atendimentos ou serviços executados por mês/ano?
Qual a abrangência do trabalho da instituição entre os demais órgãos de governo?
Qual o tipo de serviço prestado?
Volume de solicitações por secretaria/órgão
Qual a média de solicitações por órgão?
Existe concentração de serviços em poucos órgãos?
Qual a heterogeneidade dos serviços realizados para cada órgão?
Valor médio solicitado
Existe um controle dos custos envolvidos?
Se existe controle, qual o valor médio dos serviços prestados?
Avaliação (média) Fonte: elaboração própria.
O enfoque da eficiência pode ser avaliado com o auxílio dos micro
indicadores e questões propostas nos quadros 4, 5 e 6. A maior parte das
questões pode ser respondida com base em levantamento interno das
atividades do órgão, como o número de secretarias ou órgãos públicos e
privados que utilizam os serviços ofertados, o tipo de serviço que é prestado e
o volume de solicitações em determinado período de tempo.
Também é importante captar se existe algum tipo de controle dos custos
financeiros envolvidos e se o valor médio das solicitações está condizente com
o uso dos recursos disponibilizados. O avaliador pode ainda observar como o
órgão avaliado se relaciona com a sociedade em que está inserida, se conta
com a presença de um conselho de gestão, qual a composição e atribuições
deste conselho.
Quadro 5 – Meso indicador de gestão de relacionamentos e parcerias: proposta de micro indicadores e questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos
avaliadores
Composição do Conselho
Existe um Conselho Gestor?
Com que frequência o Conselho se reúne?
O Conselho conta com membros de entidades empresariais e profissionais diversas?
Tem a participação de servidores de outros órgãos públicos?
Participação do Conselho
Os conselheiros conhecem os objetivos do Conselho Gestor?
Os conselheiros avaliam como produtiva sua participação?
Atuação dos conselheiros na sociedade civil
Além da instituição em questão, os conselheiros estão inseridos em outras entidades formais e informais?
Avaliação (média) Fonte: elaboração própria.
Por último, este indicador requer a análise do perfil dos fornecedores do
órgão e da modalidade das compras e licitações realizadas. Um maior volume
de compras realizadas na modalidade pregão, por exemplo, significa uma
gestão mais eficiente dos recursos e, portanto, deve gerar uma nota mais alta
por parte dos avaliadores.
Quadro 6 – Meso indicador de gestão de recursos e fornecedores: proposta de micro indicadores e questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos
avaliadores
Modalidade das compras realizadas
Existe um banco de preços?
Quais as modalidades de compras mais eficientes do ponto de vista do tempo, do custo e da gestão?
Existe compra na modalidade pregão eletrônico?
Situação cadastral dos fornecedores
Existe um cadastro prévio de fornecedores?
Com que frequência este cadastro é atualizado?
Qual a porcentagem de fornecedores cadastrados que estão habilitados a participar de processos de licitação (sem pendências na Receita Federal ou na Secretaria de Fazenda do estado)?
Diversidade dos fornecedores
Qual o nível de heterogeneidade dos fornecedores?
Qual a porcentagem de pequenas e micro empresas entre os fornecedores da instituição?
Avaliação (média) Fonte: elaboração própria.
Os micro indicadores de eficácia, ou a avaliação das metas, procuram
verificar se os objetivos propostos pelo órgão foram alcançados. A construção
destes indicadores depende em grande medida da existência de um plano de
metas do órgão. O quadro 7 especifica dois micro indicadores que podem ser
usados, o plano estratégico e o conhecimento dos usuários. O primeiro procura
investigar se o órgão tem um plano estratégico, se esse plano tem prazo de
execução e se a sociedade civil participou da sua elaboração. O segundo
busca averiguar se os servidores e usuários conhecem os objetivos propostos
pelo órgão.
Quadro 7 – Meso indicador de planejamento: proposta de micro indicadores e questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos
avaliadores
Plano Estratégico Existe um Plano de ação delimitado e com objetivos claros?
Qual a abrangência temporal do Plano?
Qual a participação da sociedade civil na elaboração do Plano?
Conhecimento dos servidores e
usuários
Os servidores conhecem as metas e os objetivos do órgão?
Os usuários do órgão conhecem as metas e os objetivos que foram propostos?
O órgão dá publicidade às metas e aos objetivos delimitados?
Avaliação (média) Fonte: elaboração própria.
O quadro 8 mostra o meso indicador de objetivos alcançados que utiliza
três micro indicadores, alcance dos objetivos, perspectiva e evolução do setor e
nível de conhecimento dos usuários. A finalidade principal deles é verificar se o
funcionário conhece o seu setor e/ou departamento, especialmente se
consegue identificar se seus objetivos estão sendo cumpridos.
Quadro 8 – Meso indicador de objetivos alcançados: proposta de micro indicadores e questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos
avaliadores
Alcance dos objetivos
Conhece os objetivos do seu setor?
Os objetivos estão sendo alcançados?
Perspectiva e evolução do setor
Foram percebidas melhorias no setor ao longo dos últimos meses?
Existe um otimismo entre os funcionários em aperfeiçoar as atividades do setor?
Nível de conhecimento dos usuários
Os servidores avaliam que existe conhecimento parcial ou pouco conhecimento por parte dos usuários?
Avaliação (média) Fonte: elaboração própria.
Quadro 9 – Meso indicador de satisfação dos usuários diretos do órgão: proposta de micro indicadores e questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos
avaliadores
Qualidade do serviço prestado
Como os órgãos públicos avaliam a qualidade dos serviços?
Como os fornecedores avaliam a qualidade dos serviços?
Como os usuários avaliam a qualidade dos serviços?
Transparência do processo
Como órgãos públicos, fornecedores e usuários avaliam a transparência do processo?
Avaliação geral do processo
Como órgãos públicos, fornecedores e usuários avaliam o processo?
Avaliação (média) Fonte: elaboração própria.
A avaliação da efetividade busca captar o nível geral de satisfação dos
usuários do sistema e a visão dos fornecedores e usuários. Ela é realizada por
meio de dois meso indicadores, satisfação dos usuários diretos do órgão e
impacto dos indicadores econômicos. O primeiro, que pode ser observado no
quadro 9, utiliza 3 micro indicadores, qualidade do produto ou serviço prestado,
transparência do processo e avaliação geral do processo. O segundo, que está
consolidado no quadro 10, usa dois micro indicadores, economia geral e
economia segundo o processo.
Quadro 10 – Meso indicador de impacto dos indicadores econômicos: proposta de micro indicadores e questões para avaliação
Micro Indicador Questões que podem ser consideradas Nota dos
avaliadores
Economia geral Tem ocorrido uma redução dos custos envolvidos nos serviços prestados?
Existe um programa de redução ou controle de gastos?
Economia segundo o tipo de processo
Qual o tipo de processo de menor custo?
Qual é o processo mais utilizado?
Avaliação (média) Fonte: elaboração própria.
A avaliação geral do órgão é feita com base nas médias aritméticas das
avaliações de cada Macro indicador. O índice de aprendizado e crescimento é
a média da somatória dos capitais humano, da informação e organizacional; o
índice de eficiência é a média da somatória dos serviços executados,
relacionamentos e parcerias e recursos e fornecedores; o índice de eficácia é a
média da somatória do planejamento e objetivos alcançados e o índice de
efetividade é a média da somatória da satisfação dos usuários diretos e do
impacto dos indicadores econômicos. O índice de Desempenho do Órgão, por
fim, é a média da somatória dos quatro índices anteriores.
Quadro 11 – Avaliação Geral do Órgão: Índice de Desempenho
Grupos de Avaliação
(Macro Indicadores) Componentes Avaliados
(Meso Indicadores) Índice Atingido
Aprendizado e Crescimento
Capital humano A
Capital da informação B
Capital organizacional C
Total – Aprendizado e Crescimento i = (A + B + C) / 3
Eficiência
Serviços executados D
Relacionamentos e parcerias E
Recursos e fornecedores F
Total – Eficiência ii = (D + E + F) / 3
Eficácia
Planejamento G
Objetivos alcançados H
Total – Eficácia iii = (G + H) / 2
Efetividade
Satisfação dos usuários diretos I
Impacto dos indicadores econômicos J
Total – Efetividade iv = (I + J) / 2
Avaliação Geral – Índice de Desempenho do Órgão AG = (i + ii + iii + iv)/4 Fonte: elaboração própria.
Obviamente, para cada órgão ou política pública que se deseje avaliar,
as questões em cada um dos micro indicadores deverão ser adaptadas,
objetivando representar e sintetizar melhor a realidade específica. Deste modo,
ao mesmo tempo em que se espera um bom poder de síntese, a proposta não
fica engessada, dando aos pesquisadores ampla autonomia para realizar
mudanças, permitindo inclusive que pesos distintos sejam sugeridos para cada
indicador.
4 – E depois da avaliação?
O processo de avaliação, usualmente, termina quando o relatório final é
divulgado. O órgão avaliado, a partir desse momento, tem um diagnóstico dos
seus pontos fortes, que devem ser enfatizados, e de seus obstáculos, que
devem ser enfrentados. O indicador de desempenho, na verdade, é um
parâmetro que deve ser analisado endogenamente pelo órgão. Entretanto, em
muitos casos, os relatórios são extensos e apontam muitas questões que
demandariam esforço, tempo e, o mais importante, prioridades para serem
resolvidas. Defende-se, então, uma etapa posterior ao diagnóstico chamada de
implantação de prioridades. A sugestão é que se estabeleçam, a cada período
previamente definido, cinco prioridades organizacionais que devem ser
implantadas.
As prioridades selecionadas, preferencialmente, devem estar
pulverizadas entre os departamentos. Assim, evita-se que um departamento
receba toda a atenção do órgão. Cada prioridade exige atividades que devem
ser executadas. Findada essas atividades, pode-se averiguar se aquela
prioridade foi resolvida. Esse ciclo termina quando as cinco primeiras
prioridades foram trabalhadas. Caso seja necessário, outros ciclos de
prioridades podem ser iniciados. O importante é que o órgão e um agente
externo avaliem se os resultados alcançados têm sido satisfatórios.
Assim, terminada a fase de implantação e esperado um tempo, que não
deve ser longo, de maturação cultural deve-se avaliar novamente o órgão e
verificar se houve alteração no seu indicador de desempenho. Neste caso,
torna-se possível elaborar um histórico da evolução do órgão que vai da
primeira avaliação até essa segunda e fazer uma comparação entre o antes e o
depois.
Todo esse processo, em média, pode levar até dois anos. Por isso,
torna-se necessário que sejam estabelecidos acordos específicos entre o órgão
e o agente avaliador externo. Compreendendo que a avaliação é algo que
demanda tempo e dedicação e exige uma etapa posterior de implantação,
defende-se que o agente avaliador externo seja pesquisador, que colete e
analise os dados do órgão, e extensionista, que auxilie na implantação de
atividades no órgão. O governo federal, da mesma forma que criou o
pesquisador extensionista industrial, poderia criar o pesquisador extensionista
público. Assim, poderia se ter uma mão-de-obra qualificada imersa no órgão
público com tempo suficiente para avaliar e implantar prioridades.
5 - Considerações finais
Políticas públicas, programas, projetos, enfim, uma gama de ações que
o governo elabora, executa e é cobrado por elas. De tempos em tempos, novas
teorias, como a do governo empreendedor, surgem, e alguns governos
seguem-nas. Passado um interstício, pesquisadores analisam a administração
pública daquele governo e verificam a pertinência ou não daquela teoria.
Independente dos resultados serem bons ou não, existe um consenso de que
se precisa de parâmetros confiáveis para avaliar esta ou aquela política
pública.
O órgão público é o locus onde gestores públicos, políticos, usuários do
serviço, fornecedores, de maneira próxima ou distante, interagem, elaboram e
executam as políticas públicas. Por isso, a avaliação é uma etapa tão
importante do processo, já que ela, em resumo, verifica se os agentes acima
estão cumprindo adequadamente as suas funções. O uso de indicadores
possibilita que se realize um diagnóstico do órgão. Assim, a partir de um
conhecimento pontual, torna-se possível fortalecer aspectos positivos e corrigir
rumos.
As metodologias de avaliação, como a proposta neste artigo, procuram
criar instrumentos capazes de dar um diagnóstico mais completo. Entretanto,
elas apenas tentam aproximar-se da realidade do órgão ou da política. O bom
diagnóstico, de fato, é aquele que, além da metodologia adequada, conta com
a cooperação dos agentes envolvidos. Aliás, a compreensão coletiva do
processo de avaliação, a conscientização da responsabilidade individual e a
participação direta dos envolvidos são condições necessárias para a fase de
implantação de prioridades.
A administração pública eficiente, eficaz e efetiva é aquela que, além de
bons indicadores, procura ter órgãos públicos capazes de garantir práticas
democráticas e inclusivas e criar um ambiente onde convivam agentes que
possuem engajamento cívico, que acreditam na governança cidadã e, acima de
tudo, que norteiam suas ações em busca de valores públicos. Os desafios,
enfim, são muitos, mas o primeiro passo talvez seja acreditar que a avaliação é
apenas um meio de realizar um trabalho melhor.
6 - Referências bibliográficas
ALFORD, John. Defining the Client in the Public Sector: a Social-Exchange Perspective. Public Administration Review, v. 62, n. 3, p. 337–46, may/jun. 2002.
ALMEIDA, L. M. M. C. Estrutura de Governança e Gestão das Redes e Programas de Segurança Alimentar: Análise Comparativa entre Municípios Paulistas. Campinas: UNICAMP/ Faculdade de Engenharia Agrícola, 2008. 220 p. Relatório Técnico - Científico de Bolsa de Pós-Doutorado no país. ARAGÃO, Cecília V. Burocracia, eficiência e modelos de gestão pública: um ensaio. Revista do Serviço Público, ano 48, n. 3, Rio de Janeiro, p. 104-132, set/dez 1997. BATTAGLIO, R. Paul, Jr.; LEGGE, Jerome S. Self-Interest, Ideological/Symbolic Politics, and Citizen Characteristics: a Cross-National Analysis of Support for Privatization. Public Administration Review, v. 69, n. 4, p. 697–709, jul./aug. 2009. BELLONI, I.; MAGALHÃES, H.; SOUZA, L. C. Metodologia de avaliação em políticas públicas: uma experiência em educação profissional. 2. ed. São Paulo: Cortez, 2001. 95 p. (Coleção Questões da Nossa Época, v. 75). BOZEMAN, Barry. Public-Value Failure: when Efficient Markets May Not Do. Public Administration Review, v. 62, n. 2, p. 145–61, mar./apr. 2002. ______. Public Values and Public Interest: Counterbalancing Economic Individualism. Washington, DC: Georgetown University Press, 2007. BOURDEAUX, Carolyn; CHIKOTO, Grace. Legislative Influences on Performance Management Reform. Public Administration Review, v. 68, n. 2, p. 253–65, mar./apr. 2008. BROWN, Trevor L.; POTOSKI, Matthew. Contract-Management Capacity in Municipal and County Governments. Public Administration Review, v. 63, n. 2, p. 153–64, mar. 2003. BRUDNEY, Jeffrey L.; HEBERT, F. Ted; WRIGHT, Deil S. Reinventing Government in the American States: measuring and Explaining Administrative Reform. Public Administration Review, n. 59, n. 1, p. 19–30, jan./feb. 1999. COHEN, E.; FRANCO, R. Avaliação de projetos sociais. 5. ed. Petrópolis: Vozes, 1993. 312 p. CUNHA, C. G. S. Avaliação de Políticas Públicas e Programas Governamentais: tendências recentes e experiências no Brasil. Porto Alegre: Secretaria de Coordenação e Planejamento, 2006. DELEON, Linda; DENHARDT, Robert B. The Political Theory of Reinvention. Public Administration Review, v. 60, n. 2, p. 89–97, mar./apr. 2000. DENHARDT, Robert B.; DENHARDT, Janet V. The New Public Service: serving Rather than Steering. Public Administration Review, v. 60, n .6, p. 549–59, nov./dec. 2000. EIKENBERRY, Angela M.; KLUVER, Jodie Drapal. The Marketization of the Nonprofit Sector: civil Society at Risk? Public Administration Review, v. 64, n. 2, p. 132–40, mar. 2004. FERRIS, James M.; GRADDY, Elizabeth. Production Costs, Transaction Costs, and Local Government Contractor Choice. Economic Inquiry, v. 29, n. 3, p. 541–54, jul. 1991. HAQUE, M. Shamsul. The Diminishing Publicness of Public Service under the Current Mode of Governance. Public Administration Review, v. 61, n. 1, p. 65–82, jan./feb. 2001. HARUNA, Peter Fuseini. Reforming Ghana’s Public Service: issues and Experiences in Comparative Perspective. Public Administration Review, v. 63, n. 3, p. 343–54, may 2003.
INGRAHAM, Patricia W. Building Bridges over Troubled Waters: Merit as a Guide. Public Administration Review, v. 66, n. 4, p. 486 – 95, jul./aug. 2006. JANNUZZI, P. M. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público Brasília, Brasília, v. 56, n. 2, p. 137-160, abr./jun. 2005. KAPLAN, R. S., NORTON, D. P. Using the balanced scorecard as a strategic management system. Harvard Business Review, v. 74 n. 1, p. 75-85, jan./feb.1996. ______. Mapas Estratégicos. Rio de Janeiro: Campus, 2000. KERNAGHAN, Kenneth. The Post-Bureaucratic Organization and Public Service Values. International Review of Administrative Sciences, v. 66, n. 1, p. 91 – 104, mar. 2000. LELAND, Suzanne; SMIRNOVA, Olga. Reassessing Privatization Strategies 25 Years Later: revisiting Perry and Babitsky’s Comparative Performance Study of Urban Bus Transit Services. Public Administration Review, v. 69, n. 5, p. 855–67, sept./oct. 2009. LENKOWSKY, Leslie; PERRY, James L. Reinventing Government: The Case of National Service. Public Administration Review, v. 60, n. 4, p. 298–307, jul./aug. 2000. KASSEL, David S. Performance, Accountability, and the Debate over Rules. Public Administration Review 68(2): 241–52, mar./apr. 2008. KELLOUGH, J. Edward; SELDEN, Sally Coleman. The Reinvention of Public Personnel Administration: an Analysis of the Diffusion of Personnel Management Reforms in the States. Public Administration Review, v. 63, n. 2, p. 165–76, mar. 2003. NI, Anna Ya; BRETSCHNEIDER, Stuart. The Decision to Contract Out: A Study of Contracting for E-Government Services in State Governments. Public Administration Review, v. 67, n. 3, p. 531–44, may/jun. 2007. MILWARD, H. Brinton. Symposium on the Hollow State: Capacity, Control and Performance in Interorganizational Settings. Journal of Public Administration Research and Theory, v. 6, n. 2, p. 193–96, apr. 1996. MOYNIHAN, Donald P. Managing for Results in State Government: Evaluating a Decade of Reform. Public Administration Review, v. 66, n. 1, p. 77–89, jan. 2006. OSBORNE, David; GAEBLER, Ted. Reinventing Government: how the Entrepreneurial Government is Transforming the Public Sector. Reading, MA: Addison-Wesley, 1992. REED, Christine M.; MEYER, Kyle P. Medicaid Managed Care for Children with Special Health Care Needs: examining Legislative and Judicial Constraints on Privatization. Public Administration Review, v. 64, n. 2, p. 234–42, mar. 2004. RICCUCCI, Norma M.; THOMPSON, Frank J. The New Public Management, Homeland Security, and the Politics of Civil Service Reform. Public Administration Review, v. 68, n. 5, p. 877–90, sept./oct. 2008. ROSENBLOOM, David H. Reinventing Administrative Prescriptions: the Case for Democratic-Constitutional Impact Statements and Scorecards. Public Administration Review, v. 67, n. 1, p. 28–39, jan./feb. 2007. SILVA NETO, J. M.; MELO, R. P.; PEREIRA, S. A. Resultados notáveis na administração pública: avaliação de programas utilizando mapas estratégicos e o Balanced Scorecard. In: 30º ENCONTRO DA ASSOCIAÇÃO NACIONAL DE
PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 2006, Salvador/BA. Resumos... Salvador/BA: EnANPAD, 2006. p. 23-27. THOMPSON, James R. Reinvention as Reform: Assessing the National Performance Review. Public Administration Review, v. 60, n. 6, p. 508–21, nov./dec. 2000. VAN SLYKE, David M. The Mythology of Privatization in Contracting for Social Services. Public Administration Review, v. 63, n 3, p. 296–315, may 2003. WILLIAMS, Daniel W. Reinventing the Proverbs of Government. Public Administration Review, v. 60, n. 6, p. 522–34, november/december 2000. YANG, Kaifeng; HSIEH, Jun Yi; LI, Tzung Shiun. Contracting Capacity and Perceived Contracting Performance: Nonlinear Effects and the Role of Time. Public Administration Review, v. 69, n. 4, p. 681–96, july/august 2009.
