AVALIAR : PARA QUE ?

Dominique VOLLET

CEMAGREF UMR Métafort AgroParisTech-Cemagref-Enita-Inra Clermont Ferrand

Formação ENA-Paris, Ciclo Internacional Especializado de Administração Pública

« Políticas Públicas: da concepção à avaliação"

As origens da avaliação

1789 Declaração dos Direitos do Homem e do Cidadão : « a sociedade tem o direito de exigir esclarecimentos sobre a administração a todos os agentes públicos »

1970 racionalização das escolhas orçamentárias

1980 início da descentralização na França 1990 Impulsão da avaliação pela

Comunidade Europeia 2000 Entrada em vigor da Lei Orgânica sobre

as Leis Financeiras na França (LOLF)

Por que a avaliação se desenvolve ?

Uma complexidade crescente : ajudar a fazer escolhas estratégicas

Os agentes envolvidos e os acordos são numerosos : esclarecer as responsabilidades e verificar a coerência

A escassez de recursos : verificar o bom uso dos recursos financeiros públicos

I) Conceitos : objetos, momento, definições, critérios e

utilidade II) O procedimento da avaliação : natureza, dificuldades gerais e específicas

III) Alguns elementos metodológicos para a avaliação de políticas

Sumário

I) Conceitos

1. Objetos de avaliação

2. Momento da avaliação

3. Definições de acompanhamento e de avaliação

4. Critérios de avaliação

5. Utilidade da avaliação

Os objetos da avaliação

Indivíduo notas, escolares ou profissionais

Organização auditoria, funcionamento da estrutura

Ação do Poder Público Realizações, efeitos....

A avaliação de programa

Programa Sequência de ação limitada no tempo

Definida precisamente em meios e objetivos operacionais

Momento instrumental da política

Objetivos/Meios e impactos

A avaliação de política

Política Conjunto complexo de programas,

procedimentos e normatizações

Visando a um mesmo objetivo geral

Caráter normativo da ação pública

Problemas : agentes envolvidos e valores

Tipos de avaliação

Avaliação ex-post Análise retrospectiva sobre uma medida ou uma política

Avaliação ex-ante Análise prospectiva da possibilidade de implementação e

do impacto de uma medida em preparação

Avaliação in-itinere Avaliação realizada durante a operacionalização de uma

política

Os diferentes momentos da avaliação

Ação públicaAção pública

Ex-

ante

Ex-

ante

Ex-

post

Ex-

post

Inte

rmed

iári

aIn

term

ediá

ria

Acompanhamento contínuo + avaliação regularAcompanhamento contínuo + avaliação regular

In-itinere

In-itinere

t0t0 t1t1

 

Os instrumentos de gestão e de decisão

Auditoria Respeito aos procedimentos Controle de gestão Atingimento dos objetivos de gestão e respeito às normas Acompanhamento Coleta de dados para medir o estado de realização de uma política Avaliação Busca das relações de causalidade entre os objetivos e os efeitos das políticas para compreender e julgar

Interno e pontual

Interno e permanente aplica-se a um órgão

Aplicam-se a uma ação pública ou a uma política

Valor agregado da avaliaçãoRecursos Realização Resultados Impactos

Controle

Controle de gestão e acompanhamento

Avaliação (dos impactos)

Conforme às normas

standards de boa gestão

Satisfação do público alvo

Definições de avaliação

Avaliar uma política é  : "reconhecer e medir seus efeitos próprios" – Deleau 1985

"emitir um julgamento sobre seu valor" – Viveret 1989

"verificar se os meios jurídicos, administrativos ou financeiros empregados permitem produzir os efeitos esperados dessa política e atingir os objetivos que lhe são fixados" – Decreto de 22/01/90

"apreciar sua eficácia comparando seus resultados com os objetivos fixados e com os meios e recursos empregados" – Decreto de 18/11/98

Ângulos de avaliação de uma política pública

INTERESSESPÚBLICOS

NECESSIDADES

ObjetivosMeios

Realização

ResultadosEfeitos Próprios

EVOLUÇÕES DA REALIDADE SOCIAL:

IMPACTOS

SO

CIE

DA

DE

AÇ

ÕE

S

P ÚB

LIC

AS

AV

AL

IAÇ

ÃO

Evolução (utilidade-durabilidade)

Pertinência

Eficácia

EficiênciaCoerência

2

1) Estabelecer um balanço das ações 2) Analisar e compreender o funcionamento da

política 3) Apreciar seus efeitos 4) Verificar as hipóteses (implícitas ou explícitas)

sub-jacentes à ação pública 5) Contribuir para a formação de um julgamento

de valor sobre a política (decisores, agentes envolvidos, população)

6) Contribuir para melhorar a ação pública

Utilidade da avaliação

II) O procedimento de avaliação : As funções da avaliação (1)

Função recapitulativa Fazer uma análise global e distanciada Preparar as decisões relativas à política (abandono,

manutenção ou modificação) Decisores e financiadores : administrações centrais, União europeia...

Função gerencial Contribuir para a condução da ação pública Modificar a afetação de recursos Melhorar a gestão dos serviços

Organismos encarregados da operacionalização (serviços desconcentrados)

As funções da avaliação (2)

Função de formação Esclarecer os agentes envolvidos para que eles adaptem

seus comportamentos Aprendizagem e mobilização

Agentes envolvidos (funcionários, beneficiários…)

Função democrática Contribuir para o debate público sobre as políticas Aplicar o princípio da imputabilidade

= capacidade de prestar contas a seus superiores, a seus mandatários, à população

Sociedade civil, associações, contribuintes...

1) Utilidade-pertinência : informação útil e compreensível a todos os interessados

2) Fiabilidade : utilização de métodos científicos sólidos não suscetíveis de serem questinados

3) Objetividade : mesmas conclusões com uma outra avaliação

4) Possibilidade de generalização : útil para guiar a decisão pública em um espaço e um tempo mais amplos

5) Transparência : explicitar os métodos e seus limites

OS CINCO CRITÉRIOS ADOTADOS PELO CONSELHO CIENTÍFICO DE AVALIAÇÃO

3

Conhecimento da política (1)

Traçar os objetivos da política

Traçar a teoria de ação que guiou a concepção da política

Traçar o procedimento e as normas utilizadas

Identificar as ações implementadas

Conhecimento da política(2)

Definir os indicadores suscetíveis de representar a natureza e a amplitude da ação pública Indicadores de meios Indicadores de realização Indicadores de resultado Indicadores de impactos...

Função dos agentes envolvidos

Conhecimento da política (1) Protagonistas

Idealizadores Serviços encarregados da

instrução ou da implementação Financiadores Populações alvo Beneficiários Organismos setoriais Outros interessados

Pontos de vista sobre a política

objetivos procedimentos meios informação resultados outros impactos

III) Alguns elementos metodológicos para a avaliação de políticas As funções da avaliação

1)Estruturar : esclarecer e hierarquizar os efeitos a serem avaliados, definir os critérios

2) Observar : delimitar o campo de observação, coletar dados

3) Analisar : avaliar os efeitos, cruzar as informações

4) Julgar : emitir um julgamento de síntese

Instrumentos para estruturar a avaliação

- Gráfico de objetivos ou diagrama lógico de impactos

- Análise SWOT (Pontos fortes-Pontos fracos-Oportunidades-Ameaças) Objetivo : encontrar as linhas estratégicas mais pertinentes (ambiente do programa, inventário das ações possíveis, análise externa das oportunidades e ameaças, análise interna dos pontos fortes e fracos, hierarquização das ações possíveis, avaliação de uma estratégia) ; Limite = subjetividade na hierarquização das atividades

Gráfico de objetivos Finalidade Objetivos

Objetivos Ações

estratégicos operacionais

Gráfico de objetivos Finalidade Objetivos Objetivos Ações estratégicos operacionais

Assegurar umdesenvolvimento

equilibrado e sustentável em

sinergia com o polo urbano

Limitar a expansão

urbana

Manter as atividades

comerciais e artesanais

Renovar os alojamentos

antigos

Construção de novos

alojamentos

Realização de alojamentos

sociais

Manter a população local

Atrair novos habitantes

Fixar a população local

Renovar os alojamentos antigos

Melhorar o ambiente urbano

Melhora do conforto interior dos imóveis antigos

Renovação das fachadas dos imóveis antigos

Níveis do gráfico de objetivos

Indicadores Fontes

Finalidade : assegurar um desenvolvimento equilibrado e sustentável em sinergia com o pólo urbano

Variação da população total e das migrações

Recenseamento da população

Objetivo estratégico N°1: Limitar a expansão urbana

Evolução das superfícies urbanizadas e das superfícies agrícolas

Recenseamento da agricultura

Objetivo estratégico N° 2: Manter as atividades comerciais e artesanais

Evolução do número de atividades comerciais e de serviços

INSEE

Objetivo operacional N°1: Renovar os alojamentos antigos

Evolução do número de alojamentos vagos

Objetivo operacional N°2 : Construir alojamentos novos

Evolução do número de alojamentos novos

Recenseamento da população

Instrumentos de observação

1) Entrevistas individuais : roteiro da entrevista, tabela de análise, regras de confidencialidade, relatório e validação.

2) Entrevistas de grupo : seleção dos participantes, roteiro da reunião, informação dos participantes, animação, tabela de análise

3) Estudo de caso : seleção de casos, coleta de informações, análise e generalização.

Instrumentos para a análise de dados

- Sistemas de Informação Geográfica - Análise estrutural-residual - Modelos econômicos : modelo inputs-outputs,

modelos macro-econômicos - Análise fatorial - Grupo de comparação : comparação dos beneficiários,

elegíveis e não aceitos, elegíveis não requerentes, não elegíveis

- Análise de regressão

Instrumentos para emitir um julgamento

- Análise qualitativa tabela de análise

- Análise multicriterial : definição de um número limitado de critérios (5 a 10), ponderação dos critérios, seleção das intervenções a serem comparadas, atribuição de notas aos efeitos, comparação

- Análises custo/benefício e custo/eficácia - Lógica

Orientações sobre a escolha dos métodos

1) Não se contentar com uma técnica emblemática

2) Combinar diferentes instrumentos em cada uma das fases (notadamente coleta de dados, julgamento de valor)

1) Falta de dados sobre o estado inicial ou sobre a evolução da situação

2) Dificuldades em verificar o efeito próprio da política

3) Problemas de prazo na manifestação dos efeitos da política

Avaliação: Dificuldades de ordem geral

Exemplo de avaliação na região Nord Pas de Calais

Contexto geopolítico Construir e afirmar uma identidade regional 2 departamentos Poderosos parceiros locais

Contexto econômico Uma região dinâmica e próspera Um seismo econômico, políticas de reconversão com

vários agentes envolvidos

Conjuntura política Pedido de avaliação da Comunidade Europeia Eleições regionais de 1992 Negociações difíceis para o CPER 94-98 (Contrato de

Projeto Estado-Região)

Aumentar a capacidade de expertise da região para fortalecer sua posição e

legitimidade nas relações com seus parceiros

criação em 1993 da Direção do Projeto e da Avaliação nomeação em 1995 de um responsável pela avaliação

Entre o discurso e a prática : para que servem as avaliações ?

Uma constatação : várias avaliações na região Nord Pas de Calais tiveram pouca ou nenhuma utilidade. Por quê ?

Originadas de uma solicitação, mas confinadas a uma esfera administrativa : qual a apropriação dos resultados pelos agentes políticos ? Decisões a serem tomadas em decorrência das avaliações : alguns partícipes não desejam ou não podem modificar suas práticas As limitações da decisão política : termos curtos, enunciativos A avaliação cujos resultados levam meses para serem obtidos não pode se integrar facilmente no processo de decisão Sem esforço pedagógico, a avaliação permanece um assunto de especialistas

Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ?

Levar em conta a avaliação desde o início

Evita os objetivos vagos, as fórmulas encantatórias, a confusão entre finalidades, objetivos e meios

Permite a enunciação clara dos objetivos Favorece a elaboração de indicadores pertinentes

Efeito direto sobre a estratégia do que se quer fazer e sobre a qualidade

Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ?

Antes, e no momento

do diagnóstico : identificar os problemas, e formular hipóteses de ações

do prognóstico : avaliar as probabilidades e as condições de sucesso

da estratégia : selecionar os fatores principais da ação

Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ?

Durante, e no momento

Do acompanhamento de uma política ou de um programa, por meio de um sistema de indicadores, para redefinir os meios a serem empregados, regular os disfuncionamentos, relançar as parcerias

Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ?

Após, e no momento,

do controle das realizações para medir as diferenças entre o que foi previsto e o que foi realizado, analisar os obstáculos, as causas...

da medida dos efeitos secundários e dos resultados

Conclusão : As questões do iniciante em avaliação de políticas públicas

années 2000

Produzir conhecimentos

objetivos

Otimizar a afetação dos recursos

Prestar contas e dar sentido

à ação públicaPO

R Q

UE

?

Questão n°2

Representar uma ajuda àdecisão pública em face

dos desafios econômicos, sociais, ambientais

Cumprir umaobrigação

O Q

UE

?

Meios RealizaçõesObjetivosImplementação

Questão n°1

AÇÃO PÚBLICA

NÍVEISDE AVALIAÇÃO

CoerênciaPertinência Eficiência

Eficácia

Resultados(efeitos próprios)