Avaliação no Ciclo da Gestão Pública

Avaliação ferramenta que contribui para integrar as atividades do ciclo de gestão pública:

Deve estar presente – como componente estratégico - desde o planejamento e formulação de uma intervenção, sua implementação (os conseqüentes ajustes a serem adotados) até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção indo até o controle

Conceitos básicos:

PolíticaProgramaProjeto Ação Atividade ProcessoProduto Resultado EfeitoImpacto

Conceitos BásicosAvaliação formalé o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, produtos, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade

Avaliação: envolve tanto julgamento como atribuição de valor e mensuração não é tarefa neutra, mas comprometida com princípios e critérios.

Requer uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores.

Avaliação: objetivos geraisidentificar e mensurar os resultados, efeitos, impactos

obtidos

compreender como e porque foram obtidos ou não

permitir julgar as intervenções tendo como referência critérios como eficácia, eficiência, sustentabilidade, etc – a ser definidos

proporcionar informações necessárias para a tomada de decisão sobre o projeto, programa ou política

viabilizar estratégias de responsabilizaçao e accountability

proporcionar “policy learning”

Avaliação X MonitoramentoAvaliação X Monitoramento

Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das ações realizadas.

Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das ações realizadas.

Monitoramento: Objetivos

proporcionar informações para a tomada de decisão de intervir no projeto ou programa

acompanhar a execução de um Plano de Atividades para facilitar a eficiência e efetividade da sua correta implementação

identificar mudanças parciais a partir da linha de base das metas e controlar o cumprimento das metas estabelecidas

Monitoramento: Objetivos

identificar e corrigir erros e omissões na concepção do próprio projeto ou programa

corrigir distorções resultantes do projeto ou programa

proporcionar “policy learning”

Pode-se monitorar atividades, processos, resultados, impactos.

Monitoramento também é chamado de “avaliação em processo” quando incide sobre os processos de implementação das ações.

Monitoramento baseia-se principalmente nos dados da implementação (internos)

Pode ter como referência – ou não - o “Plano de Ação” ou “Plano de Atividades”.

Pesquisa Avaliativa procedimentos de coleta de dados primários:

Análise quantitativa:Censos e pesquisas por amostragem probabilística e não probabilística questionários aplicados por entrevistador ou auto-aplicáveis

Pesquisa Avaliativa:

Análise qualitativa:Entrevistas em profundidade, individuais, coletivas ou em grupos focais, não estruturadas, semi-estruturadas ou estruturadas.

Observação

Análise documental (de informação e/ou de conteúdo)

Sistemática de monitoramento e avaliação:

é um conjunto articulado de monitoramento e diversos tipos de avaliação com foco e objetivos distintos, que não se replicam, mas são combinados de modo a se complementar uns aos outros.

é diferente do sistema informatizado de informações que apoia as atividades de gestão.

A importância de cada etapa do ciclo do projeto nos processos de avaliação

Diagnóstico do problema: define o foco do monitoramento e da avaliação e estabelece a linha de base Planejamento: define resultados (objetivos e metas) a serem alcançados e seus pressupostos

Implementação: define os cenários, atores relevantes e suas relações

Critérios para avaliação:

Eficácia capacidade de produzir os resultados esperados

Economicidade capacidade de reduzir custos

Eficiência relação custo-benefício

Efetividade capacidade de maximizar a eficácia e a eficiência

Critérios para avaliação:

Equidade capacidade de contribuir para a redução de assimetrias

Sustentabilidadecapacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção

Grande parte da qualidade do Planejamento, do Monitoramento e da Avaliação depende da utilização de indicadores.

Indicadores são sinais ou marcadores de alguma coisa; destinam-se a proporcionar evidência, sinalizar. Podem ser quantitativos ou qualitativos.

Indicadores servem para mostrar as tendências e/ou os resultados obtidos em uma área qualquer se um resultado está sendo alcançado ou não; se processos estão gerando os produtos pretendidos ou não; se uma intervenção está produzindo outras conseqüências além daquelas pretendidas.

Indicadores são sinais ou marcadores de alguma coisa. Podem ser quantitativos ou qualitativos.

Indicadores quantitativos são unidades de medida: são uma atribuição de números a objetos, acontecimentos ou situações, de acordo com certas regras.

Indicadores não são simplesmente dados: funcionam como uma balança que nos permite “pesar” os dados; ou uma régua, que nos permite “aferir” os dados em termos de qualidade, resultado, impacto, etc., dos processos e dos objetivos das intervenções. Os dados alimentam os indicadores.

Conceito de Indicador: permite algumas variações que expressam os modos como são usados.

Podem ser expressos apenas como unidade/instrumento de medida

Podem ser expressos associados às metas que se pretende atingir com uma intervenção

Indicadores servem para aferir tanto resultados desejados (objetivos e metas), como outros objetos (processos, impactos inesperados, problemas, etc)

OS INDICADORES SERVEM PARA:

Possibilitar o estabelecimento e desdobramento das metas de uma intervenção;

Facilitar o planejamento e o controle do desempenho, pelo estabelecimento de métricas-padrão e pela apuração dos desvios ocorridos com os indicadores;

Internalizar na organização pública as necessidades e expectativas dos cidadãos;

Mensurar resultados de acordo com os critérios adotados no monitoramento e na avaliação.

Embasar a análise crítica dos processos e resultados da intervenção;

Contribuir para a melhoria contínua dos processos organizacionais;

Viabilizar a análise comparativa do desempenho da organização em intervenções diversificadas; e do desempenho de diversas organizações atuantes em áreas ou ambientes semelhantes.

Quando se trata de medir mudanças (como é o caso de gênero e raça), os indicadores devem ser quantitativos e qualitativos, como por exemplo:Mudanças na matrícula escolar das meninas e das meninas negras

Indicadores Quantitativos Indicadores Qualitativos

Definição: unidade de medida quantitativa

Definição: documentos, julgamentos, percepções, etc

Método de coleta de dados: pesquisa por amostragem (probabilística ou não) ou censos, questionários; dados de registros administrativos, etc

Método de coleta de dados: grupos focais, entrevistas semi-estruturadas e não estruturadas, observação, etc

Exemplos: -Número de meninas matriculadas nas escolas dividido pelo número total de meninas em idade escolar. -Número de meninas negras matriculadas nas escolas dividido pelo número total de meninas negras em idade escolar. -Número de meninas matriculadas nas escolas dividido pelo número total de matrículas. -Número de meninas negras matriculadas nas escolas dividido pelo número total de alunos negros matrículados.

Exemplos: -Meninas, por raça, com projetos de vida diferentes das suas mães.-Ambições de trabalho e renda das Meninas, por raça.-Meninas, por raça, que exibem consciência dos seus direitos.