Sano Montenegro 2013 as Tecnicas de Avaliacao Da Ef 9706

Desenvolvimento em Questoeditora uniju ano 11 n. 22 jan./abr. 2013

artigo

p. 35-61

as tcnicas de avaliao da eficincia, eficcia e efetividade na gesto Pblica e sua relevncia para o Desenvolvimento social e das aes Pblicas

Hironobu Sano1 Mrio Jorge Frana Montenegro Filho2

resumo

A necessidade crucial de mais eficincia, eficcia e efetividade (3Es) das aes governamentais est intrinsecamente relacionada questo do desenvolvimento, pois suas possibilidades so, muitas vezes, cerceadas devido aos limites que surgem quando os atores envolvidos na gesto pblica no esto comprometidos com estes conceitos, resultando em impactos negativos na vida de todos os cidados. Da a demanda por uma avaliao sistemtica, contnua e eficaz que esbarra na falta de clareza quanto a indicadores de desempenho no setor pblico. Assim, o presente artigo tem por objetivo apresentar sete propostas de utilizao dos citados indicadores (3Es) na gesto pblica, visando o desenvolvimento das polticas sociais. As principais concluses deste estudo so sobre a relevncia dos conceitos apresentados (3Es) para o desenvolvimento social, a importncia da comparao de desempenhos, a necessidade de adoo de mais de um mtodo que seja eficiente, eficaz e efetivo e o carecimento de convencer e capacitar os envolvidos.

Palavras-chave: Avaliao. Polticas pblicas. Eficincia. Eficcia. Efetividade.

1 Doutor em Administrao Pblica e governo pela Fundao Getlio Vargas/SP. [email protected]

2 Mestrando do Programa de Ps-Graduao em Administrao (PPGA) da Universidade Federal do Rio Grande do Norte (UFRN). [email protected]

the evaluation techniQues of efficiency, efficacy anD effecti-veness in Public management anD its relevance for the social

DeveloPment anD Public action

abstract

The crucial need for more effectiveness, efficiency and efficacy (3Es) of the governmental actions is inextricably related to development, because its chances are often curtailed when the actors involved in public administration are not committed to 3Es concepts, resulting in limitations and negative impacts on all citizens lives. Hence, the demand for a systematic, continuous and effective evaluation that is hindered by a lack of clarity on performance indicators in the public sector. Thus, this paper presents seven proposals of 3Es indicators use in public administration to develop social policies. The main conclusions of this study are: a) the relevance of the concepts presented (3Es) for social development; b) the importance of perform evaluation benchmarking; c) the need to adopt more than one efficient, effective and efficacious method and d) convince and empower those involved.

Keywords: Evaluation. Public policy. Efficiency. Effectiveness. Efficacy.

As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs

37desenvolvimento em Questo

A necessidade crucial de mais eficincia, eficcia e efetividade

(3Es) das aes governamentais est intrinsecamente relacionada ques-

to do desenvolvimento social, pois suas possibilidades so, muitas vezes,

cerceadas, devido aos limites que surgem quando os atores envolvidos na

gesto pblica no esto comprometidos com estes conceitos, resultando

em impactos negativos na vida de todos os cidados. Da a demanda por

uma avaliao sistemtica, contnua e eficaz que esbarra na falta de clareza

quanto a indicadores de desempenho no setor pblico. Surge, ento, um

dilema sobre qual deve ser o foco e qual metodologia utilizar, problema que

persiste apesar dos diversos estudos e discusses. Este aspecto destacado

por vrios autores, entre eles Costa e Castanhar (2003), ao referirem-se ao

emaranhado conceitual que ainda prevalece.

Devido diversidade de indicadores de resultados, sero abordados

aqueles relacionados aos trs principais critrios de desempenho: 3Es. Sua

relevncia destacada por vrios autores, dentre eles Antico e Jannuzzi

([2006?], p. 19), ao afirmarem que a avaliao de um programa pblico

requer indicadores que possam dimensionar o grau de cumprimento dos

objetivos dos mesmos (eficcia), o nvel de utilizao de recursos frente aos

custos em disponibiliz-los (eficincia) e a efetividade social. Tambm

observvel que a maior parte dos dez desafios para uma reinveno da gesto

pblica, destacados por Marini (2008), est implicitamente relacionada com

os conceitos dos 3Es, sendo quatro explicitamente: o da contratualizao

de resultados, o da melhoria da eficincia operacional, o da reinveno do

controle e o do comprometimento das pessoas.

Diante do exposto, o presente artigo tem por objetivo apresentar

propostas de utilizao dos 3Es na gesto pblica. Considerando que o

assunto tratado bastante vasto e dinmico, a pretenso deste texto

contribuir para a melhoria da gesto pblica, apresentando mais detalha-

damente apenas uma dentre as vrias propostas pesquisadas, das quais seis

so sumariamente apresentadas, destacando alguns importantes conceitos

relacionados temtica. Assim, no campo das iniciativas ser abordada a

Hironobu sano mrio Jorge frana montenegro filho

38 Ano 11 n. 22 jan./abr. 2013

adaptao do Balanced Scorecard, metodologia de medio e avaliao do

desempenho empresarial para a rea pblica proposta por Ghelman (2006), o

Quadro Lgico apresentado por Pfeiffer (2006), a construo de um sistema

de indicadores introduzido por Jannuzzi e Patarra (2006), os indicadores de

eficincia para rgos pblicos propostos por Garcia (2008), as auditorias de

desempenho realizadas pelos Tribunais de Contas estudadas por Oliveira

(2008), o modelo de gesto orientada para resultados de Minas Gerais es-

tudado por Lemos (2009) e a Transparncia Oramentria Municipal via

Internet sugerida por Pires (2010).

A importncia deste artigo observvel em constataes como a de

Frey (2000, p. 229), ao afirmar que a fase da avaliao imprescindvel para

o desenvolvimento e a adaptao contnua das formas e instrumentos de ao

pblica. Alm de ser respaldada por pesquisas como a de Ghelman (2006),

ao concluir que, apesar de a questo da eficincia fazer parte do discurso de

melhora da gesto pblica, sendo inclusive um princpio constitucional que

rege a administrao pblica, a quase totalidade das organizaes pesquisadas

no possuam indicadores que tratassem desta questo.

O artigo divide-se em quatro partes. Inicia abordando a avaliao

focada nos 3Es, como primeiro tpico do referencial terico utilizado. A se-

gunda parte contm uma breve apresentao de alguns conceitos relevantes

sobre indicadores, como suas propriedades, tcnicas, crticas, relevncia e

desafios. A terceira parte est subdividida em dois tpicos, sendo no primeiro

exemplificadas, resumidamente, em razo das limitaes de tamanho do

artigo, seis propostas de utilizao dos indicadores de desempenho (3Es) na

gesto pblica, enquanto no segundo tpico foi analisada uma stima pro-

posta, com mais profundidade que as anteriores, por ser a mais abrangente

dentre as pesquisadas. Por fim, conclui-se sobre a relevncia dos conceitos

apresentados para o desenvolvimento social, a importncia da comparao

de desempenhos, a necessidade de adoo de mais de um mtodo que sejam

eficientes, eficazes e efetivos, e o carecimento de convencer e capacitar os

envolvidos alm de sugerir futuros trabalhos.



avaliao: eficincia, eficcia e efetividade (3es)

A temtica da avaliao bastante ampla, da a necessidade de deli-

mitao dos principais critrios que se deseja estudar diante dos infindveis

questionamentos que podem ser elaborados na etapa de avaliao. Optou-se,

assim, pelos trs mais tradicionais, usados e fundamentais: os 3Es, segundo

autores como Carvalho (2001) e Harmon e Mayer (1999) ao versarem sobre a

eficincia e eficcia na administrao pblica. Sua relevncia tambm pode

ser observada quando Sulbrandt (1993) agrupa as experincias avaliativas de

programas em trs metodologias bsicas: a) avaliao de metas (eficcia); b)

avaliao de impacto (efetividade); e c) avaliao do processo (eficincia).

Por seu turno, Jannuzzi e Patarra (2006) destacam a importncia do moni-

toramento dos programas segundo o raciocnio insumo-processo-resultado-

impacto, que pode ser realizado com os 3Es, conforme ilustrado na Figura

a seguir, inclusive para os insumos envolvidos, avaliando sua influncia em

cada uma das trs etapas:

Figura 1 Fluxograma da avaliao

Fonte: Elaborado pelos autores, 2012.

A Lei n 11.653/2008 corrobora as perspectivas anteriormente apre-

sentadas ao estabelecer que a gesto do Plano Plurianual de 2008 a 2011

observar os princpios de eficincia, eficcia e efetividade na avaliao dos

seus programas (Brasil, 2008).

Diante das vrias definies existentes dos 3Es, algumas delas

inclusive contraditrias entre si, faz-se necessrio explicitar que os concei-

tos adotados neste artigo so os de Washington Souza (2008), nos quais a

efetividade percebida mediante a avaliao das transformaes ocorridas

a partir da ao; a eficcia resulta da relao entre metas alcanadas versus

metas pretendidas e a eficincia significa fazer mais com menos recursos.


40 Ano 11 n. 22 jan./abr. 2013

Estas definies esto alinhadas a vrias outras largamente utilizadas, entre

elas as do manual Guide for monitoring and evaluation do Unicef, apresentadas

no texto de Costa e Castanhar (2003), e do Tribunal de Contas da Unio

(TCU), presentes no texto de Ghelman (2006).

Vale ressaltar que a efetividade est relacionada ao impacto social que

procura identificar os efeitos produzidos sobre uma populao-alvo de um

programa social. Por seu turno, avaliar o impacto social mensurar o real

valor de um investimento social. O que torna sua avaliao indispensvel

o fato de que, caso o impacto social no seja o esperado, poder-se- repla-

nejar a atuao (Fontes, 2005). A principal dificuldade, porm, garantir a

vinculao entre as aes do programa e as mudanas percebidas. A eficcia,

por sua vez, propicia que as instituies avaliadas respondam s presses por

transparncia, demonstrando que resultados esto sendo alcanados.

A mensurao da eficincia de uma ao social pode ser realizada de

vrias formas e a falta de parametrizao gera diversas dvidas sobre quais

aes so mais eficientes. A eficincia tambm no pode ser avaliada olhando-

se apenas para os aspectos internos da organizao, devendo-se voltar para

a globalidade das demais organizaes (Arajo et al., 2008). Ou seja, no

se deve apenas avaliar se houve desperdcios ou desvios dos recursos, mas

tambm comparar a eficincia alcanada com a de outras organizaes que

podem vir a se tornar benchmarkers. Segundo Marinho e Faanha (2001, p.

6), avaliao pressupe comparao. Vale destacar, ainda, que a busca

pela eficincia implica uma melhor utilizao dos recursos, resultando no

combate corrupo.

Com relao ao aspecto histrico da eficincia, sua presena ob-

servada tanto no surgimento da teoria da administrao quanto na teoria

da administrao pblica. , importante lembrar, todavia, que a sua busca,

imbuda numa cultura racional burocrtica, desvinculada de interferncias

morais, resultou no genocdio dos judeus e dos ciganos em Auschwitz, sm-

bolo, poca da 2 Guerra, da modernidade e cientificamente organizada,

que se utilizava das tcnicas mais eficazes (Lwy, 2011).



Tambm se entende pertinente situar os 3Es nas trs fases de um

processo avaliativo: a que antecede o incio do projeto (ex-ante), estando

vinculada s clssicas etapas de diagnstico e formulao do programa social;

a que ocorre durante a etapa de constituio (pari-pasu) e a que se sucede

ao (ex-post), na etapa de avaliao propriamente dita (Jannuzzi, 2005).

Estas relaes so sintetizadas no Quadro a seguir.

Quadro 1 Os 3Es nas trs fases da avaliao

IndicadorFASEEx-ante Pari-pasu Ex-post

Eficincia Estimativa baseada em iniciativas com-parveis. Pouco uti-lizada.

Comparao entre o que foi previsto e o que se est rea-lizando. Utilizada principalmente no controle oramen-trio.

Comparao com iniciativas similares ou com o planejado. Mais utilizada.

Eficcia Baseada em inicia-tivas comparveis. Pouco utilizada.

Acompanhamen-to da realizao das metas propos-tas.

Verificao se as me-tas propostas foram atingidas.

Efetividade Expectativa base-ada em iniciativas similares. Pouco utilizada.

Avaliaes par-ciais ao trmino das etapas de um programa.

Vinculao das mu-danas, caso tenham ocorrido as aes empreendidas. Mais utilizada e recomen-dada.


Finalmente, preciso destacar que a avaliao sistemtica, contnua e

eficaz uma ferramenta gerencial poderosa, fornecendo aos formuladores e

gestores de polticas pblicas condies para aumentar a eficincia e efetivi-

dade dos recursos aplicados. Faz-se necessrio, portanto, o desenvolvimento

de um conjunto harmnico e sistemtico de indicadores que abranjam os

3Es e suas inter-relaes, tema a ser tratado no prximo tpico.


42 Ano 11 n. 22 jan./abr. 2013

indicadores

Lemos (2009) afirma haver um consenso de que todo monitoramento e avaliao baseiam-se em indicadores que auxiliam nas tomadas de deciso, permitindo um melhor desempenho, a formulao de um oramento mais racional e uma prestao de contas mais clara e objetiva.

Costa e Castanhar (2003, p. 987) indicam que:

O grande desafio para a disseminao da prtica da avaliao de projetos no setor pblico , sem dvida, encontrar formas prticas de mensurar o desempenho e fornecer ao responsvel pela gesto dos programas sociais, bem como para os demais atores envolvidos, informaes teis para a avaliao sobre os efeitos de tais programas, necessidade de correes, ou mesmo da inviabilidade do programa.

O desafio em questo esbarra na falta de consenso a respeito da de-finio de indicadores sociais. Situao diferente a do setor privado, em que seus indicadores j so consagrados, sendo, muitos deles, inclusive, internacionalmente utilizados. Ocorre o mesmo em outros setores menos preocupados com as questes sociais e mais focados em suas respectivas especialidades e indicadores. Por exemplo, o setor econmico elege o Pro-duto Interno Bruto (PIB) como um indicador da gerao de riqueza, ao passo que o setor agrcola toma como parmetro de produtividade as toneladas de gros por safra, enquanto o judicirio baseia-se no nmero de processos por juiz para alocar seus recursos, entre outros. Tentar-se- contribuir para a superao deste desafio, destacando algumas informaes relevantes sobre indicadores para polticas pblicas. Para um maior aprofundamento, porm, faz-se necessria a consulta aos artigos citados.

Antico e Jannuzzi (2006) detalham em seu artigo os tipos, proprieda-des e fontes de indicadores para cada uma das quatro etapas (diagnstico, formulao, instituio e avaliao) do ciclo de avaliao de polticas pbli-cas. Alertam, tambm, sobre os bolses de iniquidades escondidos pelos indicadores que refletem as mdias municipais. Alm disso, demonstram as



etapas de construo de indicadores multicritrios, que podem ser utilizados

para programas intersetoriais. Exemplificam, igualmente, um Painel de

Indicadores de Monitoramento, considerado como uma ferramenta prag-

mtica. Por fim, escrevem brevemente (dois pargrafos) sobre a Anlise

Envoltria de Dados (DEA), sendo necessria a leitura complementar de

obras especficas para sua utilizao. Sobre a efetividade, sugerem o em-

prego de indicadores de diferentes naturezas e propriedades, na tentativa

de captar as mudanas ocorridas, alertando para a necessidade de avaliaes

qualitativas e da lentido do impacto, quando o marco zero no trgico ou

os recursos no so expressivos.

J Costa e Castanhar (2003) apresentam no seu texto informa-

es importantes para a elaborao de um sistema de avaliao, inclusive

exemplificando-o.

Por seu turno, Guimares e Jannuzzi (2005) advertem, em sua anlise

crtica, sobre os problemas decorrentes do emprego de indicadores sintticos

(mdia de vrios indicadores simples). Eles afirmam que, por mais abran-

gentes que esses indicadores tentem ser, alguns inclusive compostos por 38

indicadores simples, como o ndice de Qualidade de Vida Urbana (IQVU),3

no devem ser interpretados como um reflexo fiel e absoluto da realidade.

mtodos de avaliao de desempenho na gesto pblica: os 3es como indicadores

Exemplificando seis diferentes propostas

Por serem apresentados de forma bastante resumida, com objetivos

meramente exemplificativos, torna-se indispensvel a leitura dos seis textos

a seguir referenciados para o seu pleno entendimento.

3 Mais informaes sobre o IQVU disponveis em: .


44 Ano 11 n. 22 jan./abr. 2013

1) Balanced Scorecard

Pelo j comentado fato do setor privado possuir mais ferramentas,

conhecimentos e histrico na utilizao de indicadores, muitos estudiosos

tentam adaptar ferramentas empresariais s necessidades pblicas. parte

as crticas sobre estas adaptaes, Ghelman (2006) tambm apresenta um

modelo adaptado do Balanced Scorecard aos preceitos de uma nova gesto

pblica moderna e focada nos resultados, preservando, segundo o autor, as

especificidades da rea pblica. Dentre as adaptaes, o autor conclui pela

necessidade das medidas de desempenho nas dimenses da: a) eficincia,

visando otimizao dos recursos dos contribuintes; b) eficcia, por meio

da melhoria da qualidade dos servios; e c) efetividade, buscando orientar

as aes pblicas para o atendimento ao cidado. Assim, facilmente ob-

servvel o uso de todos os 3Es, alm da preocupao com o monitoramento

sistemtico dos resultados.

O autor tambm justifica a utilizao conjunta dos 3Es ao afirmar que

a busca isolada pela eficincia, reduzindo custos e/ou aumentando a produ-

tividade, pode comprometer a qualidade do servio. Mesmo ofertando um

servio com eficincia e eficcia no h garantias do alcance da efetividade

com a conquista da transformao desejada, citando inclusive exemplos.

Sobre a efetividade, o autor tambm conclui que, ao consider-la como

um dos aspectos medidos pelo modelo proposto, permite-se um aumento

do controle social decorrente da possibilidade de avaliao do desempenho

organizacional. Para que o cidado seja um indutor da melhoria da quali-

dade do servio pblico, porm, faz-se necessria a disponibilizao destas

informaes de forma fcil e inteligvel, caso contrrio sua participao ser

cerceada.

Partindo da premissa de que o Estado fator fundamental para o

desenvolvimento, o autor estabelece a contribuio do seu modelo a partir

do aperfeioamento dos instrumentos de gesto. So feitas, contudo, algumas

ressalvas, como o fato de este modelo no poder ser aplicado diretamente em



todos os rgos pblicos, mas apenas naqueles que possuem um planejamen-

to estratgico estruturado e uma forte cultura de medio do desempenho

organizacional. Vale frisar que o modelo desconsidera as especificidades

de cada rgo pblico e, por isso, deve ser adaptado s especificidades de

cada instituio.

2) Quadro lgico

Pfeiffer (2006) apresenta a metodologia do Quadro Lgico (QL) criada

para demonstrar a efetividade dos projetos de cooperao internacional, ou

seja, ao contrrio da anteriormente apresentada na proposta anterior, ela

no possui elementos da lgica empresarial. Sua matriz fornece respostas a

questes intimamente associadas aos 3Es, tais como:

Qual o seu propsito e quais as mudanas a serem alcanadas?

Como se pretende produzir melhorias?

Como possvel identificar o alcance das melhorias e mudanas?

Logo, no se pode negar que o desafio na elaborao de um QL

selecionar e combinar, adequadamente, os processos que sero capazes

de gerar os resultados desejados de forma eficiente. Esta relao pode ser

visualizada na Figura 2.

Figura 2 Eficincia e efetividade no QL

Fonte: Pfeiffer, 2006.


46 Ano 11 n. 22 jan./abr. 2013

Assim, define-se o xito do projeto j na fase do seu planejamento,

suprindo a falta de clareza e unanimidade da literatura especializada sobre

como defini-lo. O QL tambm permite um acompanhamento sistemtico

e uma avaliao mais simples e objetiva, ao relacionar cada resultado e

objetivo a um indicador vinculado a uma fonte de comprovao, conforme

ilustrado a seguir.

Figura 3 Estrutura do QL

Fonte: Pfeiffer, 2006.

Sendo o QL apenas um instrumento de gerncia de projetos, faz-se

necessria, para sua eficcia, sua integrao num sistema mais amplo de

gerenciamento, adaptando-o s especificidades de cada projeto. Constata-

se, ainda, ser ele um mapa que orienta as equipes e os gerentes, alm de

tambm apresentar-se como um acordo entre os interessados sobre os rumos

do projeto e os compromissos assumidos.

Ressalte-se que, por no ser de fcil domnio, recomendvel a utiliza-

o de especialistas ou a capacitao terica e prtica para seu emprego, tendo

em vista que ele evolui na mesma proporo da concretizao dos projetos.

3) entidades de fiscalizao

Oliveira (2008) destaca que as Entidades de Fiscalizao Superior,

como os Tribunais de Contas, esto sendo cada vez mais demandadas para

realizar trabalhos qualitativos, abrangendo os 3Es. Estas auditorias so de-



nominadas operacionais ou de desempenho e buscam avaliar as organizaes

pblicas em aspectos como eficincia, economicidade, eficcia e efetividade.

O referido autor apresenta o impacto da incluso das auditorias de efetividade

no rol das tradicionais atribuies destes tribunais em verificar a regularidade

das contas pblicas, focando os aspectos legais, oramentrios, contbeis,

financeiros e patrimoniais, realizadas via auditoria de conformidade. Os

principais seriam a necessidade de diversificao dos seus profissionais,

juntamente com novas rotinas, e sem esquecer o aspecto poltico, uma vez

que os resultados podem suscitar questionamentos de natureza poltica.

O trabalho apresenta os tipos de auditorias de desempenho, dentre

as quais constam a de eficincia e a de efetividade de programas, j pratica-

das em pases como Austrlia, Frana, Alemanha, Holanda, Sucia, Reino

Unido e Estados Unidos. A primeira tem por objetivo examinar as funes

organizacionais, os processos e os elementos de um programa para avaliar se

os seus insumos esto sendo otimizados, focando principalmente os custos.

Ela no implica reformulao radical da misso, do papel e da estratgia

dos rgos de auditoria, alm do fato da eficincia ser considerada um valor

fundamental por unanimidade (Oliveira, 2008, p. 40). J a de efetividade

examina o impacto do programa, e sua realizao afetaria o papel, a estratgia

e a misso, que se tornaria mais ampla e abstrata, das entidades de fisca-

lizao. Estas mudanas ocorreriam pelo fato de esta modalidade ser mais

complexa, no tendo um modelo rgido e padronizado como as auditorias

de conformidade, exigindo, assim, um amplo domnio de conhecimentos

multidisciplinares.

No se pode deixar de observar que, por mais significativos que sejam

os achados identificados durante uma auditoria operacional, as recomen-

daes para melhoria do desempenho da organizao auditada no sero

completamente institudas, caso esta no disponha de recursos suficientes

para o atendimento das sugestes realizadas. Como se pode ver, a capacidade

contributiva das recomendaes para a melhoria da gesto pblica pode ser

limitada pela ausncia de diversos recursos, tais como humanos, financeiros,


48 Ano 11 n. 22 jan./abr. 2013

polticos ou tcnicos. Sobre este ltimo, e diante da constatao do autor a respeito da necessidade de emprego de modelos analticos na etapa de planejamento das auditorias, artigos como o presente buscam contribuir para a formao de um referencial terico acessvel.

4) Planilhas

Garcia (2008) prope a adoo de duas planilhas para avaliao da efi-cincia na gesto pblica. A apresentada na Figura 4 possui nove indicadores relacionados gesto oramentria, financeira e patrimonial, aos processos de aquisio, ao ndice de inovao, a iniciativas sociais e aos servios prestados. Sendo o alcance a tais informaes restrito, seu preenchimento s poderia ser realizado por algum com amplo acesso, como o gestor do rgo.

Figura 4 Planilha para avaliao da eficincia na gesto

Fonte: Garcia, 2008.



A segunda planilha, apresentada na Figura 5, empregada para gerar o indicador Servios Prestados presente na primeira. Ela deve ser preen-chida pelos cidados, usurios ou beneficirios dos servios prestados pelo rgo pblico. composta por 32 indicadores relacionados a servios pela Internet, ao atendimento prestado, s instalaes, ao processo de solicitao do servio, resoluo do problema e ao ps-atendimento.

Figura 5 Planilha para avaliao da eficincia nos servios prestados

Fonte: Garcia, 2008.


50 Ano 11 n. 22 jan./abr. 2013

O autor peca ao no explicitar como os indicadores propostos so

elaborados e ao no distinguir outros conceitos relacionados a eles, tais como

eficcia, efetividade e qualidade. Logo, vrios indicadores referem-se mais ao

grau de qualidade da prestao do servio da entidade do que propriamente

a sua eficincia (quantidade de servio x recursos).

5) estado para Resultados

O trabalho de Lemos (2009) investiga se o modelo de gesto do Es-

tado de Minas Gerais, conduzido pelo programa Estado para Resultados,

orientado para resultados, nos moldes do modelo de gesto desenvolvido

pelo Banco Interamericano de Desenvolvimento (BID) juntamente com

o Centro Latino-Americano de Administrao para o Desenvolvimento

(Clad). A autora concluiu que a gesto estadual passou a ser orientada para

resultados, caracterizando-se por uma cultura e um instrumental de gesto

orientados a melhorar a eficcia, eficincia, produtividade e efetividade no

uso dos recursos do Estado para melhorar os resultados de desempenho

das organizaes e dos servidores pblicos (p. 34). Com isso, a estratgia

adotada permitiria a reformulao da gesto estadual, com novos valores e

princpios, obtendo, no longo prazo, uma nova cultura comportamental do

setor pblico mineiro, voltado para o desenvolvimento da sociedade com

critrios objetivos para se medir o desempenho dos resultados das aes

governamentais (p. 47).

Ao introduzir a problemtica do seu estudo, a autora aponta como

tendncia uma gesto pblica, provedora de servios, orientada para o alcance

de resultados de desenvolvimento, sendo o seu garantidor, alm de comentar

que nas ltimas dcadas o Estado vem desempenhando um papel-chave

na criao de condies para o bem-estar social. Posteriormente, cita a dis-

ciplina administrao para o desenvolvimento, surgida na dcada de 60,

com a finalidade de gerar uma administrao mais eficiente, efetiva e eficaz,

capaz de criar os meios administrativos necessrios para o desenvolvimento

poltico, econmico e social. Ademais, afirma que, para a instituio de uma



nova administrao para o desenvolvimento, faz-se necessrio o estabeleci-

mento de relaes claras entre os resultados das polticas e seus indicadores

de eficcia e efetividade. A concepo de estratgias efetivas, que resultem

em desenvolvimento, tambm tida como central na governana da Nova

Gesto Pblica.4

Por fim, a autora afirma ser fundamental, neste modelo de gesto,

o fornecimento de informaes significativas e em tempo real sociedade

sobre o desempenho do setor pblico, aspecto este que ser tratado na

anlise seguinte.

6) Tom Web

Pires (2010) prope a adoo da Transparncia Oramentria Mu-

nicipal via Internet (TOM Web), que consiste na prestao de contas

(accountability) pela Internet, disponibilizando em tempo real informaes

pormenorizadas sobre sua execuo oramentria e financeira. Seu foco so

os municpios, tendo em vista que os Estados e principalmente o governo

federal j adotam ferramentas similares. O autor defende que a transparncia

possibilitada por essa ferramenta um pr-requisito da eficincia nas novas

formas de governar.

Ele introduz sua Monografia manifestando a expectativa de que, com

a adoo do modelo proposto, haver mais transparncia nos municpios

brasileiros devido reduo das assimetrias informacionais entre governan-

tes e governados, ampliando assim as oportunidades para que a cidadania

se constitua numa alavanca para governos locais mais eficientes, efetivos,

eficazes e responsivos, necessrios ao desenvolvimento socioeconmico e

reduo das desigualdades no pas (Pires, p. 4).

4 Originou-se das mudanas ocorridas nas administraes pblicas de pases como a Inglaterra, em 1976. Focada em resultados, busca aumentar a eficincia, a eficcia e a efetividade das aes pblicas.


52 Ano 11 n. 22 jan./abr. 2013

O TOM Web definido como um modo de gerir a arrecadao e sua

destinao, prestando contas, por meio de relatrios peridicos, via websites,

deixando claros prazos, decises, resultados e riscos, nas fases de planejamen-

to, aprovao, execuo e avaliao. Esta modalidade respaldada pela Lei

Complementar 131/09, que cria a obrigatoriedade de publicao das contas

pblicas em tempo real, via Internet, para todos os entes da federao, com

prazo at 2013 para os municpios de at 50.000 habitantes.

Operacionalmente, o TOM Web seria um link no site de cada prefei-

tura, contendo documentos, informaes e dados relevantes sobre o plane-

jamento oramentrio, a sua execuo e as compras pblicas. O aprofunda-

mento do contedo das informaes dar-se-ia de acordo com a profundidade

da navegao empreendida pelo usurio, podendo manter-se superficial,

atendendo assim tanto a demanda de especialistas quanto de leigos. O seu

contedo deve ser consistente, completo e organizado, apresentando docu-

mentos integrais e tecnicamente bem-elaborados, regularmente atualizados

e que oferea condies de acesso fcil para qualquer usurio.

O autor relaciona os documentos considerados por ele bsicos e ne-

cessrios como ponto de partida para elaborao do contedo e sugere que

sejam disponibilizados canais de comunicao e materiais didticos, como

glossrios e textos de fcil compreenso.

anlise da avaliao de programas sociais

O texto Indicadores para Diagnstico, Monitoramento e Avaliao

de Programas Sociais no Brasil, de Jannuzzi e Patarra (2006), foi escolhido

como o principal objeto de estudo, entre todos os pesquisados, pela sua

clareza na apresentao das ideias, facilidade de leitura e por abranger os

mais relevantes conceitos relacionados temtica pesquisada.



Os autores manualizaram as informaes e conceitos fundamentais

para a avaliao de programas sociais, a seguir descritos, como o processo

de construo de um sistema de indicadores, os quadros de avaliao da

aderncia dos indicadores s propriedades desejveis e a taxonomia dos

indicadores. Tambm destacam que os indicadores permitem a operaciona-

lizao de conceitos abstratos, possibilitando, assim, seu monitoramento e

aprofundamento da investigao acadmica, inclusive alertando para os casos

de indicadores que adquirem o status de conceito e para as desvantagens e

vantagens na utilizao de indicadores sintticos. Mostram quais indicado-

res, e suas respectivas propriedades e fontes, so requeridos em cada uma

das quatro etapas do ciclo de formulao e avaliao de programas sociais.

Discorrem sobre a necessidade de combinao de indicadores em programas

intersetoriais devido aos vrios objetivos envolvidos e possibilidade de

utilizao da anlise multicritrio.

Ensinam que o processo de construo de um sistema de indicado-

res sociais inicia-se com a determinao do objetivo do programa. A seguir,

delineiam-se quais aes sero necessrias a sua realizao. Posteriormente,

escolhem-se dados e estatsticas que possam acompanhar cada uma das

aes, informando a eficincia no uso dos recursos, a eficcia no cumpri-

mento das metas e a efetividade das mudanas. Defendem que a escolha

dos indicadores deve ser pautada pela adeso s propriedades desejadas (os

autores sugerem 12). Por fim, concluem ser necessrio, na etapa de for-

mulao dos programas, prever a organizao de procedimentos de coleta

e tratamento de informaes especficas e confiveis em todas as fases do

ciclo de implementao, que possam permitir a construo dos indicadores

de monitoramento desejados (Januzzi; Patarra, 2006, p. 52).

Assim, o importante que a escolha dos indicadores baseie-se em uma

avaliao crtica das suas propriedades e no se paute simplesmente pela

tradio de uso. Os indicadores devem ser especficos e sensveis. Deve-se


54 Ano 11 n. 22 jan./abr. 2013

buscar avaliar os impactos sobre os determinados grupos da populao por

meio de indicadores subjetivos, empregando-se estratgias metodolgicas

avaliativas de natureza qualitativa.

Sobre a eficincia, os autores sugerem analis-la a partir dos recursos

alocados utilizando a tcnica da Anlise Envoltria de Dados (DEA). Deriva-

da dos mtodos de pesquisa operacional, a DEA permitiria a identificao das

unidades de operao mais eficientes. Considerando as condies estruturais

de operao, ela leva em conta como os recursos, expressos pelos indicado-

res de insumo, so usados para gerar os resultados finais, representados por

indicadores de resultado como a eficcia e efetividade.

Acerca da eficcia, os citados autores destacam sua vinculao aos

objetivos finais dos programas pblicos, sendo expressa pela categoria de

indicadores-resultado, requeridos na ltima etapa do ciclo, que se inicia com

o diagnstico, passa pela formulao e efetivao, findando com a avaliao.

Ressaltam que suas propriedades permitem a identificao de boas prticas

e dficits sociais e que as pesquisas amostrais e os registros administrativos

so sua fonte de dados predominante.

Por fim, relativamente efetividade, destacada a dificuldade

de vinculao da poltica pblica mudana ocorrida. Por isso, o grande

desafio relacionado a este indicador reside na obteno de dados vlidos

que informem o alcance dos resultados e seu impacto social. Da ser

desejvel a opinio da populao atendida pelo programa, por fornecer

indcios da efetividade social. Alm disso, advertem ser questionvel a

utilizao de indicadores sintticos na avaliao da efetividade social,

posto que, por combinarem vrias medidas, no possvel vincular

uma transformao especfica como efeito direto de um determinado

programa.

Visando a facilitar a compreenso pelos leitores do contedo exposto,

elaborou-se o seguinte quadro comparativo com breves comentrios acerca

dos modelos apresentados:



Quadro 2 Comparativo entre os modelos

Modelo Vantagens Desvantagens Pode induzir o desen-volvimento ao:

Sistema de indicadores

Possibi l idade de acompanhamento da eficincia no uso dos recursos, a eficcia no cumprimento das metas e a efetividade das mudanas.

Dificuldade de vincula-o da poltica pblica mudana ocorrida.

Fornecer informaes sobre o uso dos recursos pblicos, o cumprimen-to dos compromissos governamentais e a mudana na vida dos cidados.

B a l a n c e d Scorecard

Monitoramento sis-temtico dos resul-tados.

Dificuldades de moti-vao dos funcionrios pblicos para um desem-penho por resultados.

Direcionar o foco de toda gesto pblica para a realizao de efetivas mudanas sociais.

Quadro L-gico

Relaciona cada resul-tado e objetivo a um indicador.

Necessidade de especia-listas por no ser de fcil domnio.

Demonstrar com clareza quais so as mudanas desejadas.

Entidades de Fiscali-zao

Experincia em au-ditorias e indepen-dncia funcional.

Conflitos resultantes de possveis diferentes con-cluses sobre os aspectos subjetivos da efetividade das aes.

Necessidade de um am-plo domnio de conhe-cimentos multidiscipli-nares.

Ampliarem seu papel de fiscalizao introdu-zindo a efetividade no rol de suas auditorias operacionais.

Planilhas Fcil estabelecimen-to e entendimento.

Desconsidera os aspectos da eficcia e efetividade.

Permitir que os cidados avaliem a qualidade e eficincia dos servios pblicos prestados.

Estado para Resultados

Abrange os 3Es. Difcil aceitao pelos executantes (servidores pblicos).

No avalia a coerncia dos indicadores entre si.

Mudar a cultura vigente de baixa eficincia, efe-tividade e eficcia dos servios pblicos.

TOM Web Fomento a transpa-rncia e eficincia no uso dos recursos municipais.

Desconsidera os aspectos da eficcia e efetividade.

Facilitar a fiscalizao da aplicao dos recur-sos municipais.



56 Ano 11 n. 22 jan./abr. 2013

Vale salientar que h dificuldade, especialmente nos pases da

Amrica Latina, de formar coalizes capazes de equacionar minimamente

polticas pblicas capazes de impulsionar o desenvolvimento e promover a

incluso social de grande parte da populao (Souza, 2006). Assim, pode-se

deduzir que esta falta de equacionamento reflita-se em dificuldade, obs-

curidade e desacordo quanto avaliao de tais polticas. Logo, em relao

s informaes contidas na coluna, Pode induzir o desenvolvimento ao,

estas derivam dos trabalhos aos quais se referem, sendo sintetizadas para

manuteno da esttica do quadro anterior, e no confirmam a existncia

de uma relao entre mudanas sociais e os modelos propostos. So apenas

apresentadas possibilidades cuja comprovao carece de estudos posteriores

e especficos para cada modelo. Esclarece-se tambm que o Estado con-

siderado apenas um dos trs principais atores sociais, ao lado do mercado e

da sociedade e, portanto, suas aes dependem dos demais segmentos para

que o desenvolvimento social ocorra.

Considere-se ainda que nenhum dos modelos apresentados pode ser

visto como uma panaceia, devendo ser consideradas as caractersticas das

aes desenvolvidas e as peculiaridades da organizao executante, buscan-

do sempre a mais apropriada metodologia avaliativa. Nesse sentido alerta

Arretche (1998, p. 30), ao afirmar que o uso adequado dos instrumentos

de anlise e avaliao so fundamentais para que no se confunda opes

pessoais com resultados. Tambm deve ser levado em considerao o alerta

de Lowi (1992, p. 1), que every regime tends to produce a politics consonant

with itself 5, ou seja, os modelos de avaliao, seus indicadores e a utilizao

dos seus resultados tende a variar de acordo com as caractersticas da gesto

em vigor.

Por fim, quanto s trs fases da avaliao anteriormente apresentadas

na discusso sobre Avaliao: eficincia, eficcia e efetividade (3Es), cabe

situar os modelos apresentados em cada uma delas no quadro seguinte.

5 Traduo livre dos autores: Cada regime tende a produzir sua prpria poltica.



Quadro 3 Os modelos nas trs fases da avaliao

MODELOFASEEx-ante Pari-pasu Ex-post

Sistema de indicadores

Abrange. Abrange. Abrange.

B a l a n c e d Scorecard

Pode abranger no mo-mento do planejamen-to estratgico.

Pode abranger. Abrange.

Quadro L-gico

Estimula a avaliao ao determinar com clareza os objetivos.

Possibilita por ser uma ferramenta de acompa-nhamento.

Abrange.

Entidades de Fiscalizao

No abrange. Apenas em situaes es-pecficas e sob deman-da.

Abrange.

Planilhas No abrange. No abrange. Abrange.Estado para Resultados

Pode abranger. Abrange. Abrange.

TOM Web No abrange. Possibilita ao disponibili-zar informaes.

Possibilita ao disponibilizar informaes.


consideraes finais

Sendo o objetivo deste artigo apenas compilar algumas propostas de

utilizao dos indicadores de desempenho (3Es) na gesto pblica, d-se por

atingido o seu propsito de disponibilizar aos gestores pblicos, num formato

acessvel, de fcil consulta e entendimento, vrios mtodos de avaliao, con-

tribuindo assim com o constante aperfeioamento das nossas polticas pblicas.

Sendo elas uma das principais indutoras do desenvolvimento nacional e regional,

a consequncia direta do seu contnuo aprimoramento a melhoria na qualidade

de vida de toda a populao. Da a relevncia de estudos como este.

Ao adotarem-se os 3Es como parmetros para uma boa gesto pblica,

faz-se necessria tambm a constante avaliao de alternativas para obteno

de melhores resultados, pois a simples comparao com os efeitos da prpria


58 Ano 11 n. 22 jan./abr. 2013

ao governamental pode ocultar ineficincias, ineficcias e pouca efetivida-

de, quando confrontados a outros programas. Tal necessidade decorrente do

fato de os indicadores de desempenho serem relativos, requerendo sempre

um padro ou um objetivo para comparao, que poder ser absoluto (me-

tas do prprio programa), normativo (relativo a outro programa), histrico

(resultados anteriores), terico (hiptese) ou negociado (acordo).

So vrias as experincias e propostas existentes, cada uma com diferentes graus de complexidade e aplicabilidade, sendo algumas comple-

mentares entre si. A prpria diversidade e complexidade da administrao

pblica inviabiliza a adoo de um nico mtodo, sendo necessria a adoo

de metodologias j testadas e reconhecidas ou a escolha, parcimoniosa e

criteriosa, das que indicam possuir o desempenho desejado e a consistncia

nos seus resultados. Diante desta variedade, importante buscar mtodos

de baixo custo de instalao e manuteno (eficientes), que possibilitem o

atendimento do maior nmero de metas (eficazes) e que realmente contri-

buam para as transformaes desejadas (efetivos).

Como muitos outros campos da Administrao, a busca por con-sensos necessrios construo de modelos de avaliao de desempenho

amplamente aceitos ocorrer com as contribuies prticas e tericas,

como, por exemplo, o levantamento de sete experincias realizado neste

artigo. Enquanto persistirem as dificuldades operacionais e conceituais, as

metodologias de avaliao carecero de uma prvia estrutura particular de

referncia, alm do convencimento e capacitao dos envolvidos.

Tambm lcito dizer que os observatrios de polticas pblicas

constituem-se em dinmicos instrumentos de avaliao. Dentre os exis-

tentes foram identificados o Observatrio das Metrpoles, que rene 159

pesquisadores e trabalha com 14 metrpoles e uma aglomerao urbana, e o

Observatrio da Cidadania (2009), criado em 1995, que acompanha os avan-

os e retrocessos em relao a diversas metas de desenvolvimento social e

idealiza estabelecer, no mbito da sociedade civil, mecanismos permanentes

de monitoramento e avaliao.



Finalmente, sugere-se que futuros trabalhos busquem analisar

outras metodologias de avaliao da eficincia, eficcia e efetividade na

gesto pblica, tais como a atuao e os impactos dos observatrios.

referncias

ANTICO, C.; JANNUZZI, P. M. Indicadores e a gesto de polticas pblicas. [2006?]. Dispo-

nvel em: . Acesso em: 7 jan. 2011.

ARAJO, D. A. et al. Organizaes sem fins lucrativos e a gesto estratgica: um estudo

da eficincia operacional pelo modelo de anlise da competitividade do Instituto

Alemo de Desenvolvimento IAD. 2008. Disponvel em: [http://www.anpad.org.

br/evento.php?cod_evento_edicao=33]. Acesso em: 11 fev. 2011.

ARRETCHE, M. T. S. Tendncias no estudo sobre avaliao. In: RICO, E. M.

Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez. 1998.

BRASIL. Lei n 11.653, de 7 de abril de 2008. Dirio Oficial da Unio, Braslia, DF,

n 67, tera-feira, 8 de abril de 2008. Seo 1, p. 5.

CARVALHO, M. C. B. Avaliao de projetos sociais. In: VILA, C. M. Gesto de

projetos sociais. 3. ed. So Paulo: AAPCS, 2001.

COSTA, F. L.; CASTANHAR, J. C. Avaliao de programas pblicos: desafios

conceituais e metodolgicos. Revista de Administrao Pblica, Rio de Janeiro, v. 37

n. 5, p. 969-992, set./out. 2003.

FONTES, M. A validao e avaliao de impacto social. 2005. Disponvel em: . Acesso em: 30 jul. 2009.

FREY, K. Polticas pblicas: um debate conceitual e reflexes referentes prtica

da anlise de polticas pblicas no Brasil. Planejamento e Polticas Pblicas, Braslia,

n. 21, p. 211-259, jan./jun. 2000.

GARCIA, R. L. M. Eficincia em rgos pblicos: uma proposta de indicadores. 2008.

Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro, 2008.


60 Ano 11 n. 22 jan./abr. 2013

GHELMAN, S. Adaptando o Balanced Scorecard aos preceitos da nova gesto pblica. Niteri. 2006. Dissertao (Mestrado em Sistema de Gesto pela Qualidade Total) Universidade Federal Fluminense, 2006.

GUIMARES, J. R. S.; JANNUZZI, P. M. IDH, indicadores sintticos e suas apli-caes em polticas pblicas: uma anlise crtica. Revista Brasileira de Estudos Urbanos e Regionais, [s.l.], v. 7, n. 1, p. 73-85, maio 2005.

HARMON, M. M.; MAYER, R. T. Teora de la Organizacin para la Administracin Pblica. Mxico: Fondo de Cultura Econmica, 1999.

JANNUZZI, P. M. Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil. Revista do Servio Pblico, Braslia, v. 56, n. 2, p. 137-160, abr./jun. 2005.

JANNUZZI, P. M.; PATARRA, N. L. Manual para capacitao em indicadores sociais nas polticas pblicas e em direitos humanos. So Paulo: Oficina Editorial, 2006.

LEMOS, C. S. Gesto pblica orientada para resultados: avaliando o caso de Minas Gerais. 2009. Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro, 2009.

LOWI, T. J. The State in Political Science: How We Become What We Study. The American Political Science Review, Washington, v. 86, n. 1, p. 1-7, jan./mar. 1992.

LWY, M. Barbrie e modernidade no sculo XX. 2011. Disponvel em: . Acesso em: 22 maio 2012.

MARINHO, A.; FAANHA, L. O. Programas sociais: efetividade, eficincia e eficcia como dimenses operacionais da avaliao. Rio de Janeiro: Ipea. 2001.

MARINI, C. Um declogo da boa gesto pblica: os desafios de um Estado para re-sultados. 2008. Disponvel em: . Acesso em: 18 mar. 2011.

OBSERVATRIO DA CIDADANIA. Dilogos sobre violncia e segurana pblica: razes e urgncias. Rio de Janeiro: Ibase, 2009.

OLIVEIRA, R. V. Auditoria operacional: uma nova tica dos tribunais de contas auditarem a gesto pblica, sob o prisma da eficincia, economicidade, eficcia e efetividade, e o desafio de sua consolidao no TCE/RJ. 2008. Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro, 2008.



PFEIFFER, P. O quadro lgico: um mtodo para planejar e gerenciar mudanas. In: GIACOMONI, J.; PAGNUSSAT, J. L. Planejamento e oramento governamental. Braslia: Enap, 2006.

PIRES, V. A. (2010). Transparncia oramentria municipal via Internet (TOM Web) no contexto do revigoramento democrtico e republicano: uma proposta. Disponvel em: . Acesso em: 15 abril 2011.

SOUZA, C. Polticas pblicas: uma reviso da literatura. Sociologias, Porto Alegre, n. 16, p. 20-45, jul./dez. 2006.

SOUZA, W. J. Responsabilidade social corporativa e Terceiro Setor. Braslia: Universidade Aberta do Brasil, 2008.

SULBRANDT, J. La evaluacin de los programas sociales: una perspectiva crtica de los modelos usuales. In: KLIKSBERG, B. Pobreza: un tema impostergable. Mxico: Fondo de Cultura Econmica, 1993.

Documents

Sano Montenegro 2013 as Tecnicas de Avaliacao Da Ef 9706