Embed Size (px)
Citation preview
III Congresso Consad de Gestão Pública
ANÁLISE E REFLEXÃO SOBRE METODOLOGIAS
PARA AVALIAÇÃO DE METAS DE INDICADORES DE
IMPACTO NA GESTÃO PÚBLICA PARA RESULTADOS
Éber Gonçalves Eder Sá Alves Campos
Florence Fiuza Carvalho
Painel 14/053 Metodologia e experiências de construção de indicadores
ANÁLISE E REFLEXÃO SOBRE METODOLOGIAS PARA AVALIAÇÃO DE METAS DE
INDICADORES DE IMPACTO NA GESTÃO PÚBLICA PARA RESULTADOS
Éber Gonçalves Eder Sá Alves Campos
Florence Fiuza Carvalho
RESUMO O texto levanta elementos para uma reflexão quanto aos caminhos possíveis para definição e avaliação de metas de indicadores de impacto na gestão pública para resultados. Assume-se que ação pública, com vistas à melhoria das condições de vida da população, é mais efetiva quando orientada para o alcance de metas e resultados. Entretanto, para que isso ocorra, é fundamental que exista um sistema de incentivos que estimule o comprometimento das instituições públicas com as metas pactuadas. A questão essencial do texto diz respeito ao desafio de se estabelecer metas viáveis e desafiadoras para indicadores de impacto que integram ciclos anuais de avaliação. Para tanto, examina-se algumas possibilidades metodológicas para balizamento de metas a partir da experiência recente da gestão para resultados do Governo do Estado de Minas Gerais. Exemplos são apresentados em três áreas: defesa social, educação e qualidade fiscal. O texto traz ainda alguns dos pontos que estão na agenda de trabalho da unidade responsável pelo aperfeiçoamento do sistema de metas na gestão para resultados em Minas Gerais. Palavras-chave: Indicadores. Metas. Gestão por Resultados. Gestão Pública.
SUMÁRIO
INTRODUÇÃO........................................................................................................... 03
1 CONTEXTO MINEIRO DE GESTÃO POR RESULTADOS.................................... 05
2 A PROBLEMÁTICA DAS METAS........................................................................... 08
3 CAMINHOS METODOLÓGICOS............................................................................ 13
3.1 Análise de variação.............................................................................................. 14
3.2 Balizamento por um parâmetro de distribuição.................................................... 16
3.3 Projeções............................................................................................................. 19
CONSIDERAÇÕES FINAIS....................................................................................... 23
REFERÊNCIAS.......................................................................................................... 24
3
INTRODUÇÃO
A gestão pública passou por grandes mudanças em Minas Gerais nos
últimos sete anos. Com o Choque de Gestão iniciado em 2003, o Estado alcançou o
equilíbrio fiscal de suas contas e partiu para uma trajetória sustentável de elevação
da participação do investimento no gasto público. Uma série de inovações na área
de gestão foi introduzida na administração pública estadual: revisão do plano
estratégico de desenvolvimento, composição de uma carteira de programas
estratégicos, implantação de um escritório de programas, estabelecimento de
contratos de gestão para pagamento de prêmios de produtividade para os
servidores, dentre outras.
Um novo conjunto de inovações é iniciado em 2007. Novas estratégias
são definidas na revisão do Plano Mineiro de Desenvolvimento Integrado PMDI
2007-2023 e implanta-se o Programa Estado para Resultados com a função de
coordenação da gestão estratégica por resultados em parceria com a Secretaria de
Estado de Planejamento e Gestão. Para o monitoramento da execução da
estratégia, define-se um grupo de indicadores finalísticos1 com metas a serem
alcançadas no médio e longo prazo. Esses indicadores são, em alguma medida, a
tradução dos benefícios finais a serem entregues para sociedade mineira. Nessa
etapa, os contratos de gestão são celebrados em todos os órgãos do executivo
estadual e os indicadores finalísticos passam a compor esses contratos.
A gestão orientada por resultados, foco estratégico do choque de
gestão de 2a geração, denominado Estado para Resultados, trouxe diversos
desafios, no sentido de se elaborar um conjunto de instrumentos capazes de
mensurar, efetivamente, os impactos das ações governamentais na sociedade.
Assim, dentro do Estado para Resultados, alinhado às premissas dessa nova
fase de modernização da gestão pública, foi constituída a Unidade de Indicadores
com a finalidade de aperfeiçoar, consolidar e monitorar os resultados finalísticos
do governo.
1 Resultado finalístico é a denominação usada na gestão para resultados de Minas Gerais para os indicadores de efetividade ou de impacto, tais como a proficiência média dos alunos, taxa de homicídios, e outros.
4
A Unidade de Indicadores tem trabalhado no sentido de melhorar a
carteira de indicadores. Esse trabalho passa pela conscientização sobre o cuidado
no tratamento das informações; pelo aperfeiçoamento dos processos de coleta,
registro, consolidação dos dados e cálculo de indicadores; e pelo estímulo ao uso
adequado dos mesmos.
A cada novo passo, surgem novos desafios. Este texto traz para
discussão uma das difíceis questões deparadas pela Unidade de Indicadores. Como
estabelecer boas metas, a serem alcançadas no curto-prazo, para indicadores
finalísticos pactuados nos ciclos anuais de avaliação de resultados? São levantados
alguns elementos para discussão do problema a partir de experiência da gestão
para resultados em Minas Gerais. Nesse sentido, este texto se apresenta como um
ensaio inicial para fomentar o debate sobre os caminhos possíveis para a avaliação
de metas.
Reconhece-se de antemão que o tema é um misto de ciência e arte.
Explora-se neste texto o lado ciência. No entanto, sabe-se que a política de
definição de metas perpassa os elementos da arte da negociação.
5
1 CONTEXTO MINEIRO DE GESTÃO POR RESULTADOS
Apresenta-se, inicialmente, um pequeno histórico das metas na gestão
para resultado do Governo de Minas. A grande meta do Governo de Minas,
estabelecida pela primeira vez no Plano Mineiro de Desenvolvimento Integrado
2003-2020 (PMDI 2003-2020) é a visão de “Tornar Minas o Melhor Estado para se
Viver”. Esta meta mobilizadora, baseada na visão de futuro do governante, foi
reafirmada no PMDI 2007-2023.
Por ser uma meta abrangente, ela não poderia ser traduzida
numericamente. Ou seja, não se definiu um único indicador que pudesse traduzir a
qualidade de vida dos mineiros. Essa grande meta mobilizadora foi desdobrada no
PMDI em um conjunto de metas (objetivos estratégicos) divididas em 13 Áreas de
Resultados. Estas sim foram, em alguma medida, traduzidas em indicadores e em
metas quantitativas, que são os denominados indicadores finalísticos. Para os
indicadores finalísticos propostos no PMDI foram estabelecidas metas para 2011 e
2023, que podem ser entendidos como horizontes de médio e longo prazo.
Não existiu um critério único para definição de quais seriam a metas para
anos 2011 e 2023 dos indicadores estabelecidos no PMDI. As metas foram definidas
no final de um processo de planejamento estratégico envolvendo especialistas e
executivos do governo das 13 Áreas de Resultados. Nessa ocasião as metas foram
em sua maioria determinadas com base no desejo e no conhecimento tácito dos
especialistas e executivos de cada uma dessas áreas. Para alguns casos, a
definição das metas partiu de algum tipo de análise técnica simples, como análise de
tendência, ou de algum benchmark.
Em 2007, logo após a conclusão do PMDI 2007-2023, os indicadores
finalísticos passam a integrar o Acordo de Resultados de 1a Etapa das Secretarias
de Estado. No Acordo de Resultados daquele ano, os secretários pactuaram com o
governador os valores a serem alcançados no período avaliatório de 2007 para cada
um dos indicadores finalísticos.
Aqui é importante destacar que os resultados a serem alcançados em
2007 não são necessariamente do ano base 2007. As metas de alguns indicadores
são pactuadas com defasagem por causa da falta de tempestividade dos dados, ou
seja, os dados não são disponibilizados na data requerida para se proceder a
apuração dos resultados e se realizar a avaliação dos Acordos de Resultados.
6
Isso significa que o período de referência de uma meta pode ser diferente
do período de referência do Acordo de Resultados. Assim, pode ocorrer que no
início de 2010, quando se faz avaliação dos Acordos de 2009, esteja se avaliando o
resultado alcançado por um indicador em 2008. A FIG. 1 ilustra essa situação.
Outros dois grupos de indicadores, levados do PMDI para os Acordos de
Resultados, não tiveram nenhum efeito na avaliação porque não tinham metas
definidas para 2007: indicadores que não eram apurados anualmente e indicadores
sem linha de base. Alguns indicadores que tinham metas definidas para 2007, mas
que os resultados só seriam divulgados após o encerramento do período avaliatório,
foram avaliados com proxy – medidas aproximadas.
Nos dois anos seguintes, 2008 e 2009, o quadro de indicadores
finalísticos foi sendo consolidado no sentido de serem indicadores com periodicidade
anual, de que seus resultados pudessem ser apurados antes do encerramento do
período avaliatório e de que todos tivessem meta para o ano de avaliação e um
apontamento de meta para o ano subsequente. No entanto, permanecem no quadro
alguns indicadores que são avaliados com defasagem, a exemplo dos indicadores
advindos da PNAD/IBGE.
Figura 1: Diferenciação de indicadores com e sem defasagem no fluxo de avaliação dos Acordos de Resultados Fonte: Elaboração própria.
Tendo pactuadas as metas dos indicadores finalísticos no Acordo de
Resultados de 1a Etapa, as Secretarias de Estado fizeram, a partir de 2008, a
transcrição dessas metas para os seus órgãos e equipes no Acordo de Resultados
de 2a Etapa. Os indicadores finalísticos são desdobrados em outro conjunto de
indicadores e metas mais próximas do dia-a-dia de trabalho das equipes.
7
Idealmente, os resultados pactuados no Acordo de Resultados de 2o
etapa estão alinhados com os resultados estipulados no Acordo de 1a etapa. No
entanto, esse processo de pactuação de metas para o Acordo de 2a etapa não será
objeto de discussão, dado que cada uma das Secretarias tem uma forma de realizar.
Concentra-se, portanto, a discussão sobre o estudo das metas dos indicadores
finalísticos do Acordo de Resultados de 1a etapa.
8
2 A PROBLEMÁTICA DAS METAS
Discute-se, nesta seção, uma série de questões que envolvem o
estabelecimento de metas anuais para indicadores finalísticos. Por que é importante
pactuar metas para indicadores finalísticos em Acordos de Resultados com ciclo de
avaliação anual? Como estabelecer metas anuais e de curto prazo para indicadores
finalísticos? Como estabelecer metas para um período sem se conhecer os
resultados do período anterior? Qual é o sentido de se pactuar metas com
defasagem? Como estabelecer metas que sejam factíveis e desafiadoras?
Colocam-se em discussão as possibilidades metodológicas para a
avaliação de metas de maneira que gerem elementos de credibilidade para as
pactuações e que sinalizem para a parte contratante (principal) o que seria uma
meta razoável para a parte contratada (agente).
Busca-se o caminho para o estabelecimento de metas factíveis e
desafiadoras, que motivam e desafiam. Em essência, o problema diz respeito a quão
bem calibradas estão as metas pactuadas pelo Governo do Estado com suas
diversas Secretarias de Estado. As questões tratadas no texto estão embasadas nas
premissas do modelo de gestão por resultados em curso em Minas Gerais2.
Inicialmente, assume-se como caminho correto aquele na qual a ação
pública se orienta por metas de melhoria das condições de vida da sociedade. Ou
seja, preconiza-se que os indicadores de impacto, que representam benefícios reais
para o cidadão, devem ser o pilar do sistema de incentivos da gestão para
resultados na administração pública. Sabe-se que os indicadores de impacto podem
estar sujeitos a muitas externalidades. No entanto, na visão da gestão para
resultado em Minas Gerais, isso não inviabiliza a pactuação de metas para esses
indicadores. O que se percebe nesses casos é a necessidade de reforçar a busca
por metodologia para uma melhor calibração das metas.
Descatam-se duas formas extremas pelas quais as metas podem ser
estabelecidas: baseada no desejo ou em evidências.
2 O elemento central desse modelo de gestão configura-se no Acordo de Resultados – contratos com metas anais pactuadas entre o Governador do Estado e seus respectivos Secretários de Estado.
9
(a) No desejo: Esta situação é aquela na qual a meta é estabelecida a
partir da visão dos executivos, que na maioria das vezes são
profundos conhecedores do fenômeno. Nesse sentido, a meta
representa o alvo desejado.
(b) Em evidências: As metas baseadas em evidências são aquelas
estabelecidas a partir de fundamentos teóricos, matemáticos,
estatísticos ou modelos lógicos, como por exemplo. Nos modelos
lógicos, como em um balanced score card, as metas são derivadas de
ações que geram efeitos e que são monitoradas para que se alcance
os resultados esperados.
Esses extremos são hipotéticos, pois uma meta baseada apenas no
desejo pode estar muito distante da realidade, pode ser inexequível. Por outro lado,
uso excessivo de modelos complexos para a calibração pode inviabilizar a
construção de um sistema de indicadores e metas.
Ainda sobre esses extremos hipotéticos, deve-se introduzir a questão do
horizonte de tempo do planejamento. Quando o horizonte é o longo prazo, o
estabelecimento de metas baseadas no desejo é bastante razoável. Nessa situação,
a visão de longo prazo é um desejo de mudança. No entanto, quando se trata de um
planejamento de curto prazo, uma meta baseado no desejo é arriscada. Quando o
horizonte é curto, as metas devem estar baseadas muito mais naquilo que se espera
com resultado das ações que estão sendo executadas para esse fim, aos moldes do
balanced score card, do que no desejo.
O estabelecimento das metas na gestão para resultados em Minas Gerais
ocorre de forma intermediária aos extremos descritos anteriormente. As metas de
referência são originárias do PMDI 2007-2023. Elas podem, de imediato, ser
consideradas como frutos do desejo. Mas, posteriormente, passaram a estar
alinhadas com as propostas e projetos que iriam ser executados a partir do que se
estabeleceu no plano de desenvolvimento.
Desse modo, as metas do PMDI representam o desejo amparado nas
hipóteses de um marco causal implícito. Os projetos estruturadores, concebidos a
partir do PMDI, seriam os responsáveis por alcançar os resultados almejados. O
teste desse modelo causal implícito está entre os objetivos das avaliações de
impacto que vêm sendo desenvolvidas, a partir de demanda do Governo, pela
10
Fundação João Pinheiro e pela Universidade Federal de Minas Gerais. O propósito
deste texto é menos audacioso. Não se pretende neste momento colocar em
discussão a validade do modelo causal implícito do PMDI.
O portfólio de indicadores finalísticos da gestão por resultados do
Governo de Minas é bastante diversificado. Existem indicadores que são de fato
finalísticos, indicadores que traduzem algum benefício final para a sociedade. Mas
também fazem parte desse grupo alguns indicadores de eficiência, indicadores de
produto, que não traduzem claramente algum benefício social final. Estes últimos,
apesar de não serem, stricto senso, finalísticos, compõem o portfólio porque
representam algum produto ou algum aspecto relevante da política pública
desenvolvida.
É sabido que quanto mais próximo de produto é o indicador, maior é a
gerência sobre ele. Indicadores de resultado final ou de impacto estão mais
distantes do controle do gestor.
Alguns aspectos podem ser considerados como determinantes do nível
de governabilidade dos resultados: o grau de cobertura da população atendida pela
política pública, a abrangência da ação pública sobre os fatores determinantes do
resultado, o nível de externalidades, o tempo de defasagem entre a ação pública e o
aparecimento dos resultados consequentes.
Eventualmente, esses aspectos podem estar muito bem amarrados dentro
do modelo lógico de algum programa público. Ou seja, em uma situação hipotética em
que os programas públicos apresentam uma cobertura universal, abrangem todos os
aspectos determinantes, apresentam nível de externalidade próximo de zero, e os
resultados são observados imediatamente após a aplicação da política, o nível de
controle do gestor público sobre o resultado será próximo do total.
No entanto, esta não é a realidade experimentada pelo gestor público. De
maneira geral, a ação pública não cobre toda a população potencialmente
beneficiária, não abrange todos os aspectos determinantes do resultado, está sujeita
a incontáveis influências externas e o tempo de defasagem entre a ação pública e
surgimento dos resultados pode ser grande ou até desconhecido. Sendo assim, por
que motivo se recomendaria a pactuação de metas para indicadores de resultado
sobre os quais, em princípio, o gestor teria pouca governabilidade?
11
Para a gestão para resultados do Governo de Minas, apesar da reduzida
governabilidade em muitos casos, os indicadores devem de fato traduzir resultados
significativos para a sociedade mineira e estar orientados pelo cliente que, no caso
da gestão governamental, é o cidadão. Neste sentido, é a política pública que deve,
na medida do possível, ir ampliando sua abrangência, administrando as
externalidades, fortalecendo os elos entre a sua ação e os resultados esperados
pela sociedade traduzidos em indicadores de efetividade ou de impacto.
É importante lembrar que, na gestão para resultados em Minas Gerais, as
metas são definidas e acordadas depois de um processo de negociação da Secretaria
de Estado de Planejamento e Gestão e do Programa Estado para Resultados
(unidades centrais) com as demais Secretarias de Estado (unidades setoriais).
A análise técnica e o emprego das ferramentas descritas neste texto têm,
cada vez mais, integrado o processo de negociação de metas. Apesar da força
retórica das análises técnicas, as metas não são necessariamente definidas com
base nas suas proposições. Elas são empregadas para qualificar a discussão em
torno das metas. São mais um elemento a ser considerado no processo de definição
da meta que é, em última instância, uma prerrogativa dos Secretários de Estado e,
por que não dizer, do Governador.
O processo de definição de metas na gestão para resultado em Minas
Gerais se aproxima de um modelo flexível. De maneira geral, as metas não são
estabelecidas de maneira discricionária nem pela área política nem pela área
técnica. São uma construção conjunta da qual fazem parte atores das duas áreas. A
preocupação da área técnica da gestão é que o resultado desse processo seja o
estabelecimento de metas factíveis e desafiadoras.
Factibilidade e desafio são características indispensáveis para as metas
em um modelo de gestão por resultados. A ausência desses elementos pode até
levar o modelo ao insucesso. Uma meta extremamente desafiadora, quase
inexequível, ao invés de impulsionar, serve como fator desmotivador para as
equipes executoras. Por outro lado, metas factíveis sem nenhum nível de desafio
não geram nenhum incentivo para o melhor esforço das equipes e põem em dúvida
a sustentabilidade do modelo.
12
O desafio da gestão para resultados em Minas Gerais é este:
estabelecer metas factíveis e desafiadoras para o conjunto de indicadores
finalísticos em um processo de negociação com as características descritas nos
parágrafos anteriores. Apresenta-se na seção seguinte como esse desafio tem sido
enfrentado. Parte-se então para a descrição de algumas experiências da gestão
para resultados no Estado na definição de metas dos indicadores finalísticos para
os acordos anuais de resultados.
13
3 CAMINHOS METODOLÓGICOS
De maneira geral, a avaliação das metas dos indicadores finalísticos é
realizada através da análise das séries históricas dos indicadores. Com as séries
históricas é possível construir as curvas de desempenho passadas, e, a partir
destas, avaliar a factibilidade ou grau de desafio das metas acordadas.
As curvas de desempenho podem ser construídas de duas maneiras:
(a) A partir do nível. Exemplo: 50% das instituições superaram o nível X
do indicador.
(b) A partir da variação. Exemplo: 50% das instituições elevaram em Y
unidades o nível do indicador.
A segunda forma, apesar de parecer mais difícil, pode ser preferível em
algumas situações. É importante destacar que esta abordagem é, muitas vezes,
desejável para aumentar o grau de comparabilidade entre as distintas unidades
analíticas, as quais podem possuir algumas características muito diferentes, tais
como: tamanho, condições iniciais do indicador, entre outros.
Algumas técnicas econométricas podem dar mais sofisticação às curvas
de desempenho. Com elas é possível construir distribuições de desempenho
condicionadas a algumas variáveis selecionadas relacionadas às unidades de
análise consideradas.
É importante mencionar que o Programa Estado para Resultados tem
contado com o fundamental apoio de importantes técnicos do Banco Mundial nessa
agenda de trabalho3.
A escolha das ferramentas a serem usadas na gestão por resultados do
Governo de Minas para balizamento das metas tem sido pautada pela consistência e
simplicidade. Tem-se optado por métodos que sejam facilmente aplicados e que
possam ser compreendidos por todos os envolvidos na definição das metas. Essa
opção, no entanto, não é feita à revelia da consistência e do rigor das aplicações.
3 Os autores agradecem a apoio de John Newman, João Pedro Azevedo e dos pesquisadores da Fundação João Pinheiro, parceiros em muitas discussões.
14
Assim como os indicadores, entende-se que as metodologias
empregadas no estudo das metas também devem ser plenamente apropriadas por
todos envolvidos na consecução dos resultados. Evidentemente, muitos métodos
estatísticos e econométricos sofisticados poderiam ser utilizados na análise para
proposição de metas. No entanto, dado à grande diversidade de pessoas envolvidas
no processo decisório, dificilmente essas técnicas seriam apropriadas e
perenizadas. Por isso, a opção pela simplicidade.
3.1 Análise de variação
A análise da variação periódica do indicador é uma ferramenta simples e
pode ser muito útil para a compreensão dos episódios de redução ou elevação de
seus valores. Trata-se especificamente do cálculo da variação do nível ou da taxa de
variação percentual.
Este tipo de exercício tem sido empregado pelo Programa Estado para
Resultados no acompanhamento das estatísticas de criminalidade, mais
especificamente do número de homicídios, crimes violentos e crimes violentos contra
o patrimônio. Esses dados são tratados de maneira regionalizada, por Região
Integrada de Segurança Pública (RISP) que somam 16 em Minas Gerais.
Assim, observa-se qual foi a variação anual do número de crimes em um
dado período. A variação observada serve como um parâmetro para o
estabelecimento da meta para os anos subsequentes. Ressalta-se, no entanto, que
a informações da taxa de variação é apenas um dos muitos elementos que podem
ser empregados para o balizamento das metas. Todas as informações que se tenha
a respeito do comportamento de um determinado tipo de crime em uma determinada
região, quantitativas ou qualitativas, devem ser levadas para análise e discussão
durante o processo de negociação de metas.
A TAB. 1, apresentada na sequencia, mostram as taxas de variação do
número de ocorrências de crimes violentos no período 2000-2007. Observa-se uma
redução da taxa média de variação do número ocorrências do período 2000-2003
para o período 2004-2007. Verifica-se inclusive uma redução no número de
ocorrências em algumas RISPs.
15
Tabela 1: Taxa média de variação do número de ocorrências de crimes violentos (%) – 2000-2007
RISP 2000-2007 2000-2003 2004-2007
Barbacena 12,8 19,1 4,4
Curvelo 12,3 17,2 5,8
Uberlândia 5,8 17,2 -9,4
Teófilo Otoni 12,9 16,9 7,7
Montes Claros 13,7 16,1 10,7
Divinópolis 12,9 15,8 9,1
Belo Horizonte 2,7 15,1 -13,7
Governador Valadares 6,0 12,6 -2,8
Vespasiano 1,1 12,4 -13,8
Patos de Minas 14,9 12,1 18,8
Juiz de Fora 6,8 10,5 2,0
Contagem 1,7 10,2 -9,5
Uberaba 12,6 9,7 16,5
Ipatinga 6,9 8,8 4,4
Lavras 6,4 6,9 5,8
Unaí 10,2 6,1 15,7
Total 7,8 18,4 -6,1
Fonte: EpR e FJP/NESP; Relatório de Metas – Criminalidade.
Observa-se uma mudança de tendência muito grande entre os dois
subperíodos analisados. A taxa de variação do número de ocorrências no Estado foi
de 18,4% no primeiro subperíodo e de -6,1% no segundo. Entre 2000 e 2007 a
variação média foi de 7,8%. O que seria razoável supor de variação para os anos
subsequentes? Talvez uma redução na mesma proporção da ocorrida nos quatro
últimos anos da série não seja exequível. No entanto, essas informações não são
suficientes para que se estabeleça uma boa meta. Outras informações devem
integrar à análise.
No caso do número de crimes violentos, a informação do nível poderia
acrescentar elementos importantes na análise. Observa-se que a RISPs que tiveram
as maiores reduções do número de ocorrências foram as que apresentam elevado
nível de criminalidade. Então, seria pertinente supor que a redução do número de
crimes varia a taxas decrescentes? Ou seja, quanto menor o nível, menores deverão
ser as taxas de redução do número de ocorrências? Assim como a informação do
nível, outras devem compor a análise para que se tenha um resultado satisfatório
num processo de definição de metas que faça uso desses recursos.
16
Em se tratando dos indicadores de criminalidade, outros fatores
complicadores podem surgir, especialmente quando eles são utilizados para
estabelecimento de metas que resultarão em pagamento de prêmio de
produtividade. Refere-se ao risco de moral4. Ou seja, a possibilidade de se deixar de
fazer o registro das ocorrências visando a sua redução. Seria esse motivo suficiente
para desaconselhar o uso desse tipo de indicador em contratos de gestão para
resultado no setor público? Antes disso, recomenda-se a busca por mecanismos de
incentivos que minimizem o risco de e que indicadores de tamanha relevância para a
sociedade não sejam suprimidos dos acordos de resultados na gestão pública.
Como se percebe, a ferramenta descrita nesta seção é simples e
imediata, mas é bastante limitada. O método talvez seja o mais utilizado nos
processo de definição de metas. Uma vez que muitos elementos importantes sobre
o comportamento da variável ou do indicador podem escapar na análise de variação,
se utilizado com um conjunto mais amplo de informações, a ferramenta pode ser
razoavelmente adequada nesses processos de definição de metas.
3.2 Balizamento por um parâmetro de distribuição
Outra técnica utilizada pelo Programa Estado para Resultados para
proposição de meta parte da identificação de um percentil de referência na
distribuição do indicador. Ou seja, define-se parâmetro de desafio que consiste no
percentual de unidades avaliadas que, no período de referência t, estão abaixo da
meta a ser definida para o ano t+1. Quanto maior o percentual de unidades
avaliadas que estão, em t, com valor do indicador abaixo do valor definido como
meta para t+1, maior é o desafio da meta. A partir da experiência observada em
períodos anteriores, é possível identificar o percentual que representa uma meta
factível e desafiadora.
4 Foi publicado recentemente na Folha um artigo sobre a suspeita de manipulação dos dados da criminalidade em Nova York, um exemplo típico do risco que se corre no estabelecimento de metas para redução da criminalidade (Folha Online; Estudo questiona números da violência em Nova York. Disponível em: http://www1.folha.uol.com.br/folha/mundo/ult94u690912.shtml).
17
Esse método foi inspirado em trabalho desenvolvido por técnicos do
Banco Mundial sobre metas de redução da pobreza na América Latina e no Caribe
(NEWMAN, J. at. al., 2008). Em Minas Gerais, a técnica foi utilizada mais
especialmente para calibrar as metas anuais de proficiência dos alunos da rede
pública estadual. A medida de desafio, neste caso, é dada pelo percentual de alunos
ou de escolas que estão, no ano t, abaixo de certo nível de proficiência a ser
definido como meta para o ano t+1.
Assim, quanto maior o percentual de alunos ou de escolas com nível de
proficiência, no ano t, abaixo daquele a ser definido como meta para o ano t+1,
maior é o desafio implícito na meta. Por outro lado, quanto maior o percentual de
alunos ou de escolas com nível de proficiência, no ano t, acima daquele a ser
definido como meta para o ano t+1, menor é o desafio da meta.
O pressuposto que justifica o emprego desse tipo de expediente é a tese
de que as experiências de sucesso, ou as boas práticas, podem ser identificadas e
disseminadas no sistema educacional, como em um efeito sinérgico ou de
transbordamento. Assim, supõe-se que quanto maior o número de alunos com
proficiência acima do valor definido como meta, maior será a possibilidade dos
demais alunos também alcançarem a meta.
Há uma hipótese bastante razoável por traz deste exercício de metas que
consiste no fato de que o desempenho dos alunos determina o desempenho das
escolas que por sua fez determina o desempenho de todo o sistema estadual de
educação. Assim, uma meta estabelecida para o sistema como um todo funciona
como referência para as escolas e para os alunos.
Foram examinados os dados de proficiência gerados pelo Programa de
Avaliação da Educação Básica (PROEB), da Secretaria de Estado de Educação
de Minas Gerais (SEE-MG). O PROEB avalia a proficiência dos alunos do 3o ano
do ensino fundamental em leitura, dos 5o e 9o ano do ensino fundamental em
português e matemática, e dos alunos do 3o ano do ensino médio também em
português e matemática.
18
A TAB. 2 traz, como exemplo desta aplicação, os valores da proficiência
em matemática dos alunos do 9o ano do ensino fundamental das escolas estaduais,
bem como os valores de meta e a referida medida de desafio da meta.
Tabela 2: Proficiência em matemática dos alunos do 9o ano do Ensino Fundamental – 2006-2008
2006 2007 2008
Realizado 246,3 250,9 255,8
Meta - 250,0 257,2
Desafio (%) - 63,8 67,9
Fonte: CAED/SEE-MG. Elaboração própria.
Os dados da TAB. 2 mostram que a proficiência em matemática dos
alunos do 9o ano nas escolas estaduais estava em 246,3 pontos em 2006. Foi
definido como meta para 2007 o valor de 250 pontos. A medida de desafio dessa
meta era de 63,8%. Ou seja, aproximadamente 64% das escolas estaduais tinham
proficiência inferior a 250 pontos em 2006. Observa-se que a proficiência atingida
em 2007 superou a meta em 0,9 pontos. Já em 2008, com um desafio de 67,9%, o
nível de proficiência alcançado pelos alunos do 9o ano subiu 4,9 pontos em relação
ao ano anterior, mas ficou ligeiramente abaixo da meta: 1,4 pontos.
A FIG. 2 traz a distribuição acumulada de escolas em relação à
proficiência em matemática dos alunos do 9o ano. O primeiro gráfico da FIG. 2
mostra a proficiência em 2006 e o segundo representa a proficiência em 2007. O
percentual de escolas abaixo da proficiência média é o mesmo em 2006 e 2007:
56%, aproximadamente. Já o desafio da meta se elevou de 2007 para 2008 de
63,8% para 67,9%, como explicitado na TAB. 1. O aumento do desafio da meta pode
ser percebido na FIG. 2 comparando-se a distância entre a Meta 2007 e a
proficiência média em 2006 (gráfico 1) com a distância entre a Meta 2008 e a
proficiência média em 2007 (gráfico 2).
19
200
6
Met
a20
07
Met
a20
08
Met
a20
09
Met
a20
10M
eta
2011
180
210
240
270
300
Pro
ficiê
ncia
de
Mat
em
átic
a9
º an
o E
F 2
006
0 20 40 60 80 100Distribuição Acumulada das Escolas
Fonte: CAED/SEE-MG
200
6
Met
a20
072
007 Met
a20
08
Met
a20
09
Met
a20
10
Met
a20
11
180
210
240
270
300
Pro
ficiê
ncia
de
Mat
em
átic
a9
º an
o E
F 2
007
0 20 40 60 80 100Distribuição Acumulada das Escolas
Fonte: CAED/SEE-MG
Figura 2: Distribuição acumulada das notas de proficiência em matemática dos alunos do 9o ano em matemática da rede estadual de Minas Gerais – 2006 e 2007.
Este tipo de análise foi realizado para todas as séries avaliadas pelo
Sistema Mineiro de Avaliação da Educação Pública (SIMAVE), da Secretaria de
Estado de Educação de Minas Gerais. Após a análise dos resultados da proficiência
no período de três anos (2006-2008), observou-se que as metas estabelecidas entre
os percentis 60 e 70 da distribuição de notas, quando alcançadas, eram alcançadas
com uma folga muito pequena e, quando não alcançadas, ficavam muito próximas
de ser. Com algumas exceções, esta foi uma característica geral observada nesses
três anos para todas as séries avaliadas.
Dessa forma, deduz-se que o valor de proficiência associado ao percentil
70 da distribuição de proficiências se constitui em uma referência para o
estabelecimento de uma meta factível e com certo grau de desafio. Uma meta
estabelecida muito abaixo desse percentil pode ser considerada factível, mas pouco
desafiadora. Por outro lado, uma meta estabelecida muito acima do percentil 70
pode ser considerada altamente desafiadora ou até infactível.
3.3 Projeções
A projeção talvez seja a técnica mais empregada para determinar o valor
futuro de uma variável no curto prazo. As projeções podem ser extremamente
simples, consistindo basicamente em determinar o valor futuro com base nos valores
passados, como nos modelos auto-regressivos em séries temporais, ou
extremamente complexas, elaboradas a partir da modelagem um conjunto de
variáveis independentes.
20
As projeções populacionais são um exemplo do emprego desse tipo de
ferramenta. O tamanho futuro de uma população é determinado basicamente a partir
da análise de variáveis como taxa de fecundidade, mortalidade e fluxos migratórios.
Outro exemplo são as projeções de agregados macroeconômicos como o valor
adicionado ou o nível de preços da economia. Nesse tipo de projeção, utilizam-se
modelos que relacionam o comportamento de uma série de variáveis econômicas.
Esses modelos vêm sendo desenvolvidos e aperfeiçoados ao longo de muitos anos
pelas ciências econômicas.
Os modelos, como bem se sabe, são uma representação limitada da
realidade. São construídos com base em um conjunto de hipóteses simplificadoras.
Apesar disso, as previsões realizadas com a utilização desses modelos têm se
mostrado muito eficientes.
A exemplo desse tipo de aplicação, as projeções de arrecadação de
ICMS em Minas Gerais são realizadas com modelos de análise de séries temporais.
As projeções são feitas pela Diretoria de Informações Ficais (DINF) da Secretaria de
Estado de Fazenda. Essa diretoria elabora o Plano Anual do Fisco Estadual que
parte de uma análise geral de um conjunto de variáveis do cenário macroeconômico
nacional e internacional (projeções de crescimento dos países, volume de comércio,
expectativa de preços das commodities, taxa de juros, taxa de câmbio, produção
industrial, venda no comércio, dentre outras).
As projeções do ICMS, propriamente ditas, são realizadas com técnicas
econométricas de séries temporais. Para esse fim, a DINF combina modelos de
alisamento exponencial não sazonal, aditivo e multiplicativo, ARIMA5,
VAR/VEC/ECM6, e co-integracional. Tais modelos são capazes de produzir
previsões precisas mesmo quando não se conhece o modelo econômico subjacente.
A FIG. 3 ilustra o resultado da projeção da arrecadação do ICMS, para 2010,
realizada com esses modelos.
5 Médias Móveis Intergradas Auto-Regressivas. 6 Vetor Auto-Regressivo/Vetor de Correção de Erros/Modelo de Correção de Erros.
21
Figura 3: Projeção do ICMS consolidado – Minas Gerais (2010)
Na FIG. 3, a linha verde representa o ICMS arrecadado nos meses de
janeiro de 2009 a janeiro de 2010, a linha vermelha representa a projeção para os
próximos meses de 2010 e as linhas pontilhadas são os intervalos de confiança de
um desvio-padrão para mais e para menos do valor projetado. A probabilidade de o
valor arrecadado ficar entre os desvios é de aproximadamente 70%.
Assim, pode-se deduzir que uma meta de arrecadação factível e com
certa dose de desafio estaria no intervalo entre o valor projetado e o valor projetado
acrescido de um desvio-padrão. Quanto mais próximo deste último, maior o desafio.
Como dito anteriormente, os modelos de séries temporais têm se
mostrado muito eficazes. Eles podem ser muito simples ou extremamente
complexos. Fundamentalmente, são modelos em que a previsão dos valores futuros
é feita a partir dos valores passados. Uma boa previsão depende de uma série de
fatores, tais com a escolha do modelo mais adequado, o tamanho da série histórica,
o número de variáveis, dentre outros.
Apesar dos fatores externos aos modelos estarem, em alguma medida,
incluídos nos erros aleatórios, as previsões não são imunes aos choques exógenos.
No exemplo do ICMS, possivelmente as previsões de arrecadação para o final de
2008 e início de 2009 falharam. Houve uma queda significativa na arrecadação de
ICMS em Minas Gerais nesse período em decorrência da crise financeira mundial.
22
Este tipo de perturbação traz sérios transtornos para a administração
pública uma vez que todo seu planejamento de gastos foi feito com base no valor
projetado de arrecadação. Um complicador adicional é o fato que as metas
estabelecidas nos acordos de resultados foram estabelecidas com base nessas
projeções. E a não efetivação da arrecadação planejada pode implicar inclusive no
não cumprimento de metas de outros indicadores.
Por esse motivo, pode ser recomendável a inserção de mecanismos de
correção automática nos contratos de gestão para serem acionados nas situações
de choques exógenos, a exemplo do ocorrido com a arrecadação do ICMS.
23
CONSIDERAÇÕES FINAIS
Como se pode notar, o Programa Estado para Resultados, através da
Unidade de Indicadores e de sua rede de parceiros, está buscando os caminhos
para a consolidação de seu quadro de indicadores e do seu sistema de metas. Este
texto traz algumas questões que representam o início de um trabalho de
investigação sobre os caminhos metodológicos para a definição de metas bem
calibradas. Nessa trajetória, este texto é o primeiro passo de um longo caminho que
poderá levar a um sistema de monitoramento e avaliação robusto.
Dentre os pontos da agenda atual de pesquisa, destacam-se o exame das
possibilidades de se fazer projeções para os indicadores da área de defesa social e
de se adotar sistemas mais complexos para balizamento das metas, a inclusão de
análises de distribuição condicionada e por coortes no estudo das metas
educacionais, e a aplicação das metodologias de distribuição no estudo das metas
de saúde e pobreza.
É importante mencionar que neste momento algumas das avaliações de
impactos contratadas pelo Programa Estado para Resultados estão sendo
concluídas. Indubitavelmente, elas trarão informações valiosas que devem ser
incorporadas nos estudos de metas.
O que se observa com tendência na experiência mineira é o
fortalecimento dos critérios técnicos nos processos de pactuação de metas. O que
se deseja é que esses critérios sejam cada vez mais confiáveis e robustos o
suficiente para não dar ocasião para o aparecimento de problemas de risco moral ou
o risco de captura. No entanto e acima de tudo, as escolhas metodológicas devem
respeitar a dinâmica institucional de cada uma das secretarias e órgãos do Governo
que são as responsáveis diretas pelo alcance dos resultados desejados por todos.
Reafirma-se que, apesar da força retórica da análise técnica, a arte da
negociação assume uma função preponderante no processo de pactuação de
metas. Entende-se que o papel da área técnica, nesse caso, é instruir o processo
com a melhor ciência.
24
REFERÊNCIAS
GOVERNO DO ESTADO DE MINAS GERAIS. Plano Mineiro de Desenvolvimento Integrado 2011-2023. Belo Horizonte: Governo do Estado de Minas Gerais, 2007. Disponível em: <http://www.planejamento.mg.gov.br/governo/publicacoes/arquivos/ Plano_Mineiro_Desenvolvimento_Integrado_Final.pdf>. HILL, C.; GRIFFITHS, W.; JUDGE, G. Econometria. São Paulo: Saraiva, 1999. p. 370-387. NEWMAN, J.; AZEVEDO, J. P.; SAAVEDRA, J.; MOLINA, E. The real bottom line: Benchmarking Performance in Poverty Reduction in Latin America and the Caribbean (mimeo). Washington: World Bank, LCSPP, 2008. PROGRAMA ESTADO PARA RESULTADOS. Caderno de Indicadores 2009. Belo Horizonte: Programa Estado para Resultados, 2009. Disponível em: <http://www. estadopararesultados.mg.gov.br/index.php/sala-conhecimento/doc_details/9-caderno-de-indicadores-2009>. ______. Relatório de metas: educação (mimeo). Belo Horizonte: Programa Estado para Resultados, 2009. ______. Relatório de metas: criminalidade (mimeo). Belo Horizonte: Programa Estado para Resultados, 2009. SECRETARIA DE ESTADO DE FAZENDA DE MINAS GERAIS. Plano Estadual do Fisco Estadual 2010 (mimeo). Belo Horizonte: SEF-MG, 2010. (Documento de circulação restrita).
25
___________________________________________________________________
AUTORIA
Éber Gonçalves – Mestre em economia, Empreendedor Público no Programa Estado para Resultados e professor da Faculdade de Políticas Públicas Tancredo Neves da Universidade do Estado de Minas Gerais. Graduação em Ciências Econômicas pela Universidade Federal de Viçosa (2001) e mestrado em Economia pela Universidade Federal de Minas Gerais (2004). Atualmente é empreendedor público do Governo do Estado de Minas Gerais e professor na Faculdade de Políticas Públicas Tancredo Neves, da Universidade do Estado de Minas Gerais.
Endereço eletrônico: [email protected] Eder Sá Alves Campos – Bacharel em Administração Pública pela Escola de Governo da Fundação João Pinheiro. É também bacharel em Economia pela PUC Minas. Atua hoje como Empreendedor Público e como coordenador das atividades da Unidade de Indicadores no Programa Estado para Resultados do Governo do Estado de Minas Gerais. Administrador público e economista, Empreendedor Público no Programa Estado para Resultados do Governo do Estado de Minas Gerais.
Endereço eletrônico: [email protected] Florence Fiuza Carvalho – Mestranda em Sociologia pela Universidade Federal de Minas Gerais. Possui graduação em Ciências Sociais pela Universidade Federal de Minas Gerais (2006). É Empreendedora Pública no Programa Estado para Resultados do Governo do Estado de Minas Gerais.
Endereço eletrônico: [email protected]
