TENDÊNCIAS DA AVALIAÇÃO NO ÂMBITO DAS POLÍTICAS PÚBLICAS –

DESAFIOS E PERSPECTIVAS

Profª. Dra. Helena Lúcia Augusto Chaves

AVALIAÇÃO – ASPECTOS CONCEITUAIS

Diagnóstico da Situação; Métodos de Avaliação; Técnicas de Avaliação; Medição de Impacto; Técnicas e procedimentos para

aferição da efetividade e eficácia de políticas, programas e projetos sociais

 

AVALIAÇÃO ≠ MONITORAMENTO

Julga: Mérito; Valor dos

componentes de um programa;

Atividades realizadas e a realizar;

Finalidade: Produzir resultados

Acompanhamento da execução;

Atividade gerencial; Intervenção no

curso do processoVisa: Subsidiar decisões; Identificar e corrigir

problemas

AVALIAÇÃO MONITORAMENTO

FORMAS e TENDÊNCIAS DA AVALIAÇÃO

Quanto à temporalidade1. Avaliação ex-ante: realizada antes do

início de implementação de um programa.

Identifica se um programa deve ser executado;

Projeta o que aconteceria com algumas características da população beneficiária caso o programa fosse executado;

Compara custos e benefícios da iniciativa com as alternativas disponíveis à sua implantação.

2. Avaliação ex-post: realizada após a consolidação ou na fase final de um programa.

Mede resultados e impactos.

As avaliações de impacto são geralmente mais caras que as avaliações ex-ante, por exigirem levantamento de dados primários sobre o público-alvo, caso o programa não disponha de um sistema de monitoramento desenvolvido.

QUANTO AO OBJETO

1. Avaliação de processo: Avaliação para identificar os aspectos da

implementação; Considera insumos, processos e produtos; Avalia ganhos ou perdas no atendimento às

metas do programa junto ao seu público-alvo.2. Avaliação de resultados: Avaliação do nível de transformação da

situação a qual o programa se propõe a modificar;

Expressa o grau em que os objetivos do programa foram alcançados.

3. Avaliação de impacto: Avaliação de resultados; Busca conhecer os efeitos produzidos pelo

programa em algum(uns) aspecto(s) da realidade afetada pela sua existência;

Geralmente está relacionada a resultados de médio e longo prazo;

Visa identificar, compreender e explicar as mudanças nas variáveis e fatores relacionados à efetividade do programa.

QUANTO À EXECUÇÃO

1. Avaliação interna: Realizada dentro da organização onde se

localiza o programa; Conduzida por unidade diferente da executora; Na autoavaliação, os trabalhos são realizados

pela equipe responsável pela gestão do programa;

As principais vantagens são: menor custo e melhor aproveitamento no aprendizado institucional e na melhoria do gerenciamento do programa;

Em geral, as organizações são mais receptivas à informação produzida internamente.

2. Avaliação externa: Realizada por instituições externas; Tende a apresentar maior credibilidade junto

ao público externo; Utiliza padrões mais rígidos de análise; O distanciamento da posição do avaliador

em relação ao que está sendo avaliado possibilita maior objetividade na análise;

DECRETO Nº 5.233 DE 6 DE OUTUBRO DE 2004

Estabelece normas para a gestão do Plano Plurianual 2004-2007 e de seus Programas e dá outras providências.

Art. 8o Fica instituído, nos termos do § 1o do art. 9o da Lei no 10.933, de 2004, o Sistema de Avaliação do Plano Plurianual, no âmbito do Poder Executivo, sob a coordenação do Ministério do Planejamento, Orçamento e Gestão, competindo-lhe definir diretrizes e orientações técnicas para seu funcionamento.

§ 1o O Sistema de Avaliação do Plano Plurianual será apoiado por uma Comissão de Monitoramento e Avaliação do Plano Plurianual, a ser instituída no Ministério do Planejamento, Orçamento e Gestão, e por unidade de monitoramento e avaliação de cada Ministério, órgão equivalente ou de cada Secretaria Especial da Presidência da República.

§ 2o Caberá à Comissão de Monitoramento e Avaliação do Plano Plurianual elaborar propostas de normas e procedimentos gerais, relativos ao monitoramento e avaliação dos programas do Poder Executivo, bem como oferecer elementos técnicos que orientem o processo de alocação de recursos orçamentários e financeiros e a revisão dos programas, com vistas ao alcance dos resultados.

§ 3o A Comissão de que trata este artigo será constituída por representantes de órgãos do Poder Executivo e contará com suporte técnico e administrativo da Secretaria de Planejamento e Investimentos Estratégicos do Ministério do Planejamento, Orçamento e Gestão.

§ 4o À unidade de monitoramento e avaliação, de cada órgão, cabe apoiar a elaboração dos planos gerenciais, o monitoramento e a avaliação dos programas, bem como oferecer subsídios técnicos que auxiliem na definição de conceitos e procedimentos específicos.

§ 5o A Secretaria-Geral da Presidência da República e o Ministério do Planejamento, Orçamento e Gestão definirão, em conjunto, diretrizes para a participação da sociedade civil na avaliação dos programas e do Plano Plurianual.

OBJETIVO FUNDAMENTAL DO SMA

Assegurar que o monitoramento e a avaliação sejam utilizados pela administração pública federal como parte integrante da gestão de programas, com vistas a obtenção de melhores resultados pelo governo e de modo a fornecer subsídios para a tomada de decisão e a melhoria da qualidade da alocação dos recursos no Plano e nos Orçamentos anuais.

OBJETIVO FUNDAMENTAL DO SMA

PLANO PLURIANUALFunção: Organizar a atuação governamental em programas; Orientar uma administração pública por resultados;Objetivos da gestão por programas: Alcançar os resultados mediante a utilização de

processos estruturados e instrumentos adequados à integração das ações em torno de programas, motivando a tomada de decisão e a correção de rumos a partir de sua orientação estratégica e de sua programação.

Essa gestão pressupõe a utilização sistemática dos mecanismos de elaboração, monitoramento, avaliação e revisão do Plano durante sua execução, conforme ilustra a Figura 2.

METODOLOGIA DE AVALIAÇÃO ANUAL DO PPA

OBJETIVOS DA AVALIAÇÃO ANUAL DO PPA

Proporcionar maior transparência às ações de governo: fornece informações sobre o desempenho de programas e serve como meio de prestação de contas ao Congresso Nacional e à Sociedade.

Auxiliar a tomada de decisão: proporciona informações úteis à tomada de decisões relativas à ação governamental.

Promover a aprendizagem e a disseminação do conhecimento nas organizações: amplia o conhecimento dos gerentes e de suas equipes sobre o programa.

Aperfeiçoar a concepção e a gestão do plano e dos programas: tem a finalidade de assegurar o aperfeiçoamento contínuo dos programas e do Plano, visando melhorar seus resultados, otimizando o uso dos recursos públicos.

O produto final das três etapas da Avaliação Anual do PPA compõe o Relatório Anual de Avaliação, entregue até o dia 15 de setembro ao Congresso Nacional.

Quais as possibilidades e potencialidades das perspectivas correntes de avaliação para a compreensão do surgimento, desenvolvimento e funções das políticas sociais no enfrentamento das desigualdades sociais e da garantia dos direitos sociais nas sociedades capitalistas?

COMPREENSÃO MULTIDIMENSIONAL

ARTICULAÇÃO PROCESSUAL

RESSIGNIFICAÇÃO CONTEXTUAL

Avaliação das políticas sociais nas relações contraditórias entre Estado e sociedade capitalista.

AVALIAÇÃO DA EDUCAÇÃO SUPERIOR NO BRASIL

Década de 70: Instituição da política de avaliação da pós-graduação

pela CAPES Década de 80: Programa de Avaliação da Reforma Universitária –

PARU(1983) Década de 90: PAIUB (1994): Programa construído pelas IES, com o

objetivo de desenvolver um processo de avaliação institucional. primeira tentativa de implantação de um sistema nacional de avaliação institucional da educação superior no país

Exame Nacional de Cursos – ENC/Provão (1996): Propôs nivelar as IES em termos de qualidade, mas não atendeu aos objetivos.

Sistema Nacional de Avaliação da Educação Superior – SINAES (2004)

SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR - SINAES

Criado pela Lei n° 10.861, de 14 de abril de 2004;

Formado por três componentes principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes.

avalia todos os aspectos que giram em torno desses três eixos: o ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos alunos, a gestão da instituição, o corpo docente, as instalações e vários outros aspectos;

Possui uma série de instrumentos complementares: auto-avaliação, avaliação externa, Enade, Avaliação dos cursos de graduação e instrumentos de informação (censo e cadastro);

Os resultados das avaliações possibilitam traçar um panorama da qualidade dos cursos e instituições de educação superior no País.

Os processos avaliativos são coordenados e supervisionados pela Comissão Nacional de Avaliação da Educação Superior (Conaes);

A operacionalização é de responsabilidade do Inep.

As informações obtidas com o Sinaes são utilizadas pelas IES, para orientação da sua eficácia institucional e efetividade acadêmica e social; pelos órgãos governamentais para orientar políticas públicas e pelos estudantes, pais de alunos, instituições acadêmicas e público em geral, para orientar suas decisões quanto à realidade dos cursos e das instituições;

Baseia-se na avaliação institucional, que compreende a avaliação externa e a avaliação interna, principalmente com seu componente central, a auto-avaliação.

Objetivos do SINAES

identificar mérito e valor das instituições, áreas, cursos e programas, nas dimensões de ensino, pesquisa, extensão, gestão e formação;

melhorar a qualidade da educação superior;

orientar a expansão da oferta; promover a responsabilidade social das IES,

respeitando a identidade institucional e a autonomia.

INSTRUMENTOS - AVALIAÇÃO SINAES

Processos de avaliação: Avaliação institucional integrada por diversos

instrumentos complementares: auto-avaliação, avaliação externa, Enade, condições de ensino e instrumentos de informação (censo e cadastro).

Coletas de informações: a) Censo da Educação Superior (integrado ao Sinaes e

incluindo informações sobre atividades de extensão). b) Cadastro de Cursos e Instituições (integrado ao

Sinaes). c) CPA: Comissão Própria de Avaliação (criadas nas IES

com a atribuição de conduzir os processos de avaliação interna da instituição, da sistematização e de coleta de informações).

RESULTADOS

A divulgação dos resultados abrange: instrumentos de informação (dados do censo,

do cadastro e outros); avaliação de mérito e de valor (pareceres

das comissões de avaliação, informações sobre infra-estrutura, desenvolvimento profissional e condições de trabalho do corpo docente e técnico-administrativo, acervo bibliográfico, condições dos laboratórios didáticos e de pesquisa).

CONCEITOS

No Sinaes a integração dos instrumentos (auto-avaliação, avaliação externa, avaliação das condições de ensino, Enade, censo e cadastro) permite a atribuição de conceitos, ordenados numa escala com cinco níveis, a cada uma das dimensões e ao conjunto das dimensões avaliadas.

Enade - Com relação ao Enade, existirão padrões de qualidade estabelecidos por especialistas, com o objetivo de expressarem com maior fidedignidade o desempenho dos alunos.

DESAFIOS E PERSPECTIVAS

O processo de avaliação deve resultar em nova sistemática de organização e implementação das políticas públicas;

A avaliação de políticas públicas deve ultrapassar a mera disposição e utilização de métodos e técnicas racionais e operativos, preocupados com a relação custo-benefício ou com a eficácia;

A avaliação de políticas sociais deve se situar na compreensão do significado do papel do Estado e das classes sociais na construção dos direitos sociais e da democracia.

REFERÊNCIASBRASIL. Lei nº 10.933, de 11 de agosto de 2004 – Dispõe sobre o

Plano Plurianualpara o período 2004-2007.BRASIL. Decreto nº 5.233 de 6 de outubro de 2004 – Estabelece

normas para a gestão do Plano Plurianual 2004-2007 e de seus programas e dá outras providências.

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Plano de gestão do PPA 2004-2007: http://www.planejamento.gov.br/arquivos_down/spi/modelo_gestao.pdf.

BRASIL. Instituto de Pesquisa Econômica Aplicada. “Roteiro para construção de modelo lógico de programas” – (em elaboração). IPEA 2006.

BRASIL. Monitoramento em números: programas e ações do Plano Plurianual 2004-2007: ano base 2005/ Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos Estratégicos. – Brasília: MP, 2006.

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Manual de Elaboração de Programas do Plano Plurianual 2004-2007. Exercício 2006:

http://www.sigplan.gov.br.

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Manual Técnico de Orçamento MTO-02: instruções para elaboração da proposta orçamentária da União para 2005. Orçamentos fiscal e da seguridade social. Brasília, 2004.

COTA, T. C. Metodologias de Avaliação de Programas e Projetos Sociais: análise de resultados e impacto. Revista do Serviço Público, Ano 49, nº 2, abril-junho 1998.

Decreto 5.233 de 6 de outubro de 2004. GARCIA, R. C. Subsídios para Organizar Avaliações da Ação

Governamental. IPEA, Texto para Discussão nº 776. Brasília, jan/2001.

HARTZ, ZMA (org.) Avaliação em saúde: Dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: FIOCRUZ. pp. 29-47.

MCLAUGHLIN, J. e JORDAN, G. – Using Logic Models - Handbook for Program Evaluation, Wholley, J – 2004.

PINTO, A. M. R. O Fetichismo da Avaliação. Fundação João Pinheiro.Análise e Conjuntura, V.1, Nº 2, maio–agosto 1986.