Avaliação de Políticas Públicas um Enfoque Orçamentário · Slide 27 XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas Abordagens sobre o

Slide 1

XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas

Avaliação de Políticas Públicas –um Enfoque Orçamentário

Marcelo PrudenteCoordenação Geral de Avaliação de Políticas Públicas

SEARI/SOF/MP

Slide 2


O problema orçamentário –Introdução

Slide 3


Avaliação de Políticas Públicas – um enfoque orçamentário

Boa alocação de recursos

Avaliação como instrumento de gestão

Base em “evidências”

Conhecimento da política pública

“realismo orçamentário”

Opinião mais qualificada sobre a alocação de recursos

Reduzir a orçamentação com base em “achismos”

Aprendizado institucional contínuo

Slide 4


Contexto fiscal a partir de 2015

Contexto de restrição fiscal

Queda de arrecadação Trajetória de aumento de despesas obrigatórias

Elevado déficit primárioEC 95/2016

Pressão demandas sociais “país em desenvolvimento”

Slide 5


Contexto de restrição fiscal: arrecadação

17,0

16,3

17,0

18,4

19,519,7

20,7

21,8

21,0

21,7

22,6 22,6 22,823,1

22,2

23,7

22,6

22,0 22,1

21,120,8 21,0

20,6

16,0

17,0

18,0

19,0

20,0

21,0

22,0

23,0

24,0

1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017

Evolução das Receitas Primárias % PIB1995-2017

Fonte: SOF/MP.

- R$200 bilhões

Trajetória descendente

Slide 6


Contexto de restrição fiscal: crescimento da despesa

Fonte: SOF/MP.

19,59

18,68

19,19

20,25

20,58 20,73

20,32

21,04

21,67

20,51

20,44 20,67

21,43

22,73

23,44

22,64

18,0

19,0

20,0

21,0

22,0

23,0

24,0

2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017

Trajetória ascendente

Evolução das Despesas Primárias em % do PIB – 2002 - 2017

Slide 7


Contexto de restrição fiscal: déficit primário

Slide 8


Modelo de disciplina fiscal: metas de resultado

Resultado Primário

Fonte: PLDO 2019

Anexo de Metas Fiscais (LDO)

2019 2020 2021

-139,0-110

-70

Meta Fiscal

139Bi R$ déficit:- Atividade econômica- Imposto empresas- Refis- Desonerações tributárias

Slide 9


Exigência de despesa pública mais eficiente

Maior rendimento / Melhor desempenho

Como saber se a despesa é mais eficiente?

Avaliação da despesa

Aumento da importância da avaliação

Definição prioridades

Contexto fiscal a partir de 2015

Avaliação ganhou importância nos órgãos centrais – SOF, SEPLAN, STN, TCU, IPEA

Slide 10


Benefícios Previdenciários

44%

Pessoal e Encargos Sociais

22%

Outras Despesas Obrigatórias

14%

Despesas Discricionárias - Todos os Poderes

20%

Composição do gasto primário em 2017

Slide 11



44%

Pessoal e Encargos Sociais

22%

Outras Despesas

Obrigatórias14%

Despesas Discricionárias -

Todos os Poderes20%


72%

28%


Urbano

Rural

Slide 12


Outras Despesas

Obrigatórias14%


1,0%

1,1%

1,3%

1,5%

1,9%

3,0%

4,2%

Fundeb (Complementação da União)

Compensação ao RGPS pelas desonerações da Folha

Abono

Subsídios, Subvenções, Pró-Agro


Seguro Desemprego

BPC da LOAS/RMV


Slide 13


Despesas Discricionárias

- Todos os Poderes

20%


0,9%

2,3%

2,6%

2,7%

3,7%

7,5%

Poder Legislativo, Judiciário e MPU

PAC

Gasto da Educação (exc. Pessoal)

Gasto da Assistência Social (exc.Pessoal e BPC)

Demais Despesas Discricionárias doExecutivo

Gasto da Saúde (exc. Pessoal)

Despesas Discricionárias - Todos Poderes

Slide 14


Classificação da Rigidez Orçamentária

Nível de Rigidez

Especificação Despesas Incluídas

5 Despesas públicas decorrentes de direitos individuais especificados no texto constitucional, com regras claras de acesso e de vigência dos benefícios

Benefícios previdenciários e assistenciais, gastos de pessoal, abono e seguro desemprego, emendas parlamentares obrigatórias, dentre outras.

4 Direitos coletivos de amplo suporte político e vinculações de receitas estabelecidas na constituição

Despesas de custeio e investimentos nas áreas de saúde e educação (gastos mínimos em Ações e Serviços Públicos de Saúde e Manutenção e Desenvolvimento de Ensino), bem como a complementação do FUNDEB e o repasse do FCDF, dentre outras.

3 Demais direitos individuais e coletivos atribuídos a setores vulneráveis, mediante lei ordinária

Bolsa Família, Complemento FGTS, Compensação do RGPS, Benefícios de Legislação Especial, Transferência ANA/ANEEL, dentre outras com menor impacto fiscal.

2 Obrigações assumidas pelo governo mediante contratos e convênios

Convênios assinados pelo governo e subsídios para execução de programas governamentais.

1 Demais obrigações Demais despesas não listadas nos itens acima e que não são submetidas à limitação de empenho pela LDO.

Fonte: Relatório Fiscal do Tesouro Nacional de 2017, pág. 45.

Slide 15


85,7%84,7%

84,1% 84,5%

89,3%90,2%

87,7%

91,0%

89,3%

93,7%

78,0%

80,0%

82,0%

84,0%

86,0%

88,0%

90,0%

92,0%

94,0%

96,0%

2013 2014 2015 2016 2017

Rigidez da Despesa Primária

Restrito Ampliado

Ampliado (Níveis 5, 4, 3, 2, 1)

Restrito (Níveis 5, 4, 3)

O Tesouro Nacional especifica indicadores agregados de rigidez orçamentária

• Esses indicadores evidenciam o espaço para cumprimento das metas fiscais

Em 2017, 6% das despesas eram discricionárias (não rígidas).

Aproximadamente, R$ 80 bilhões.

Se considerado os Restos a Pagar, apenas 2,5% do orçamento foi não rígido

em 2017.Aproximadamente, R$ 31 bilhões.

Rigidez Orçamentária

Fonte: Relatório Fiscal do Tesouro Nacional de 2017, págs: 44-52

Slide 16


Rigidez Orçamentária

Fonte: Instituto Fiscal Independente. Apresentação CAE Senado 20/11/2018

O Instituição Fiscal Independente (Senado) também calcula a rigidez orçamentária e chega a resultados parecidos:

Slide 17


Rigidez orçamentária: despesas obrigatórias

Slide 18


Composição do Gasto Primário - 2017(R$ milhões Correntes) Fonte RTN - dez/2017

Despesas Primárias 2017 %Benefícios Previdenciários - Urbano 443.061,0 34%Pessoal e Encargos Sociais (Inclusive servidores inativos e pensionistas) 287.938,0 22%Benefícios Previdenciários - Rural 121.668,0 9%Gasto da Saúde (exc. Pessoal) 97.767,6 7%Benefícios de Prestação Continuada da LOAS/RMV 54.499,1 4%Demais Despesas Discricionárias do Executivo 47.425,3 4%Seguro Desemprego 38.489,2 3%Gasto da Assistência Social (exc. Pessoal e BPC) (inclui Bolsa Família) 34.971,6 3%Gasto da Educação (exc. Pessoal) 33.423,8 3%PAC 29.883,7 2%Demais Despesas Obrigatórias 28.932,7 2%Subsídios, Subvenções e Proagro 19.021 1%Abono 16.827 1%Compensação ao RGPS pelas Desonerações da Folha 14.112,0 1%FUNDEB (Complem. União) 13.273,1 1%Poder Legislativo, Judiciário e Ministério Público da União 12.207,6 1%Sentenças Judiciais e Precatórios 10.838,8 1%DESPESA TOTAL 1.304.332,3 100%

Demais Despesas Obrigatórias: Anistiados; Apoio Fin. EE/MM; Benefícios de Legislação Especial e Indenizações; Convênios; Doações; Fabricação de Cédulas e Moedas; Fundo Constitucional do DF; FDA/FNDE; Lei Kandir (LC nº 87/96 e 102/00); Reserva de Contingência; Ressarc. Est./Mun. Comb. Fósseis; Transferências Multas ANEEL; Auxílio CDE;

Créditos Extraordinários (exceto PAC); Complemento do FGTS (LC nº 101/01). Demais Despesas Discricionárias do Executivo: Demais Ministérios; Emissões de TDA.

Slide 19


Enfoque orçamentário – papel da avaliação

Tomada de decisão

Instrumento para melhorar a alocação de recursos no orçamento

Base para revisão dos gastos públicos

LDO 2019: plano de revisão de despesa (art. 15, II)

Indicar políticas prioritárias que deveriam ser preservadas

Slide 20


Enfoque orçamentário – focos de interesse

Investigar Prioridades da sociedade e do governo

Desempenho – maximização da eficiência e efetividade

Economicidade - custos razoáveis

Capacidade Fiscal

Crise FiscalGanham relevância eficiência, economicidade,

impacto nas contas públicas

Slide 21


Avaliação de Políticas Públicas

Slide 22


O que é avaliação de políticas públicas?

Alguns conceitos“Conjunto de procedimentos técnicos para produzir informação e conhecimento para o desenho ex-ante, implementação e validação ex post de programas e projetos sociais”

Januzzi (2014, p. 26)

“Uma cuidadosa avaliação retrospectiva do mérito, excelência e valor da administração, produção e resultado das intervenções governamentais com a intenção de ter papel importante nas ações práticas do futuro”.

Vedung (1997, p. 3)

“As avaliações são análises periódicas e objetivas de uma política pública, projeto ou programa planejado, em andamento ou concluído. As avaliações são usadas para responder perguntas específicas, geralmente relacionadas ao desenho, à implementação ou aos resultados.”

Banco Mundial (2016, p .8)

Para uma revisão dos conceitos de avaliação, ver Brousselle (2011, cap. 2)

Slide 23



Pode analisar

Desenho da política

Arranjos de implementação Custos

FocalizaçãoResultados de

curto prazo

Impactos sociais de longo

prazo

Slide 24



Cumprimento dos objetivos do programa (produto/entrega)

Custos e benefícios da intervenção

Impactos mais abrangentes

Eficácia

Economicidade e Eficiência

Efetividade

Verificar

Slide 25


Avaliar é lidar com a complexidade

Os avaliadores devem atentar para a natureza complexa dos problemas sociais e das intervenções públicas

• Problemas e demandas sociais têm múltiplas causas• Ex: Pobreza, violência, entre outros

• Públicos-alvo dos programas são distintos ou amplos• Ex: Educação Básica, PBF

• Tipos de entregas são diversas – dinheiro, serviços, produtos• PBF, Educação, Farmácia Popular

Simples Complicado Complexo

Slide 26


Ciclo das políticas públicas

Problemas e demandas

sociais

Definição de agenda

Percepção e definição das

questões públicas

FormulaçãoDiagnóstico e desenho de

programas

Tomada de DecisãoSobre programasse

público-alvo

ImplementaçãoProdução e oferta de

serviços

AvaliaçãoAnálise de

resultados e impactos

Decisão sobre continuidade / início

do ciclo

Lasswell(1956)

Slide 27


Abordagens sobre o processo das políticas públicas

•Contexo institucional – organizações políticas, regras, legislação, burocratasInstitucional

•Fatores econômicos e sociais – crises econômicas, maiorias políticasSocio-econômicas

•Distribuição do poder, interação formal e informal entre atoresGrupos e redes

• Intenções, crenças e formação dos decisores das políticasIdeias

•Fatores que levam a mudanças radicais nas políticas: lobbies, crises políticas, mudança da opinião públicaEquilíbrio pontuado

• Janelas de oportunidades, empreendedores da políticaMúltiplos fluxos

•Como as ações individuais moldam a política públicaEscolha racional

Slide 28


Porque avaliar?

Slide 29


Intervenção pública

• As intervenções governamentais buscam alterar fenômenos para corrigir uma situação problemática• Por exemplo, melhorar índices educacionais ou reduzir o déficit habitacional

• No entanto, não basta apenas a “boa intenção” da política, sim verificar os resultados e boa práticas

Componentes das Intervenções:• Dimensão física – recursos mobilizados

• Dimensão organizacional – regras do jogo

• Dimensão simbólica – crenças e valores

Slide 30


Intervenção pública

O caso do IDEB do Ensino Médio

3,2

3,4

3,6

3,8

4,0

4,2

4,4

4,6

4,8

2007 2009 2011 2013 2015 2017

Ideb Observado Ideb Projetado

Trajetória Desejada

Trajetória Observada

Efeito desejado

Intervenção• Estrutura (recursos financeiros, técnicos e

organizacionais)• Atores• Processos

Avaliação de impacto

Avaliação de custos, eficiência

Avaliação de desenho

Slide 31


Objetivos da avaliação*

Accountability**

• Legal

• Fiscal

• Entrega

• Cobertura

• Impacto

• Eficiência

Melhoria

• Determinar o mérito/ valor de programas

• Identificar pontos fortes e fracos

• Subsidiar tomada de decisão (instrumento de gestão)

• Produzir evidências que contribuam para o aperfeiçoamento de políticas públicas

Aprendizado (efeito

secundário)

• Aprendizado institucional

• Compilação de dados

Outros

• Razões estratégicas: legitimar política, desviar atenção,

* Verdung (1997, p. 101- 114) ** Rossi e Freeman (1989, apud Verdung, 1997, p. 103)

Slide 32


Classificações das avaliações

Quanto à finalidade Formativa ou somativa

Quanto ao tempo

Quanto à posição do avaliador

Ex ante ou Ex post

Interna ou externa

Quanto à metodologia

Quantitativa, Qualitativa, Métodos combinados

Slide 33


Finalidade: formativa e somativa

FormativaFase inicial do programa; objetivo de

aperfeiçoamento / correção de rumos

Somativaaferir mérito/valor do programa, subsidiando

tomadores de decisão (continuidade ou descontinuidade, expansão ou redução)

Risco

Avaliações somativas em programas que ainda não se desenvolveram plenamente

Maturidade do programa

Slide 34


Momento: Ex ante e Ex post

Ex anteAntes de iniciar programa, antecipando

fatores considerados no processo decisório

Ex postQuando o projeto está em execução ou já

foi concluído

O Decreto nº 9.191/2017 estabelece questões a serem analisadas na elaboração de atos normativos do poder executivo federal

Referências para consulta

Slide 35


Interna

Gestores e técnicos que trabalham no programa ou projeto

VantagensAcesso facilitado a dados e conhecimento dos

procedimentos do programa

Avaliação de melhorias nos programas

Desvantagens Viés favorável à equipe do programa

Possível imersão da equipe em problemas rotineiros insignificantes, impedindo visão de

variáveis críticas

Posição de quem avalia: interna

Slide 36


Posição de quem avalia: externa

Vantagens

Desvantagens

Avaliação tende a ser menos enviesada (?)

Distância permite visão das variáveis críticas do programa (accountability)

Avaliadores externos não conhecem profundamente dimensão prática do programa

Dificuldade de acesso a dados

Externa

Especialistas de fora do programa (pesquisadores, consultores externos)

Slide 37


Metodologia de avaliação

• Os métodos de avaliação se baseiam nos tipos de dados einformações disponíveis

• Dados quantitativos: medições numéricas e estão associados aescalas numéricas• Ex: dados orçamentários, dados de emprego, notas da educação básica, custo dos

medicamentos, entre outros

• Dados qualitativos: dados expressos por meio de linguagem ouimagens• Ex: marcos legais, opinião de especialistas e beneficiários dos programas, entre

outros

Ideal: combinar métodos

Slide 38


Metodologia de avaliação• Não existe um método “padrão ouro” para avaliar uma política

• A literatura de avaliação de políticas públicas mostra grande diversidademetodológica e diversos exemplo de como produzir bons estudos

• No entanto, recomenda-se:• Privilegiar múltiplos métodos;

• Rigor analítico;

• Apostar em equipes multidisciplinares;

• Entender profundamente o programa avaliado (contexto, arranjooperacional, complexidade de implementação).

Slide 39


Avaliações: benefícios

Institucionalização da avaliação contribui para orientação para

resultados – melhor desempenho

Desloca a energia da organização para onde ela é mais necessária

Aprendizado institucional permite melhor tomada de

decisão

Talvez o maior benefício da avaliação de políticas públicas não seja o

resultado direto que ela produz, mas o processo de aprendizado da

política que a acompanha. (HOWLETT E RAMESH, 1995)

Slide 40


Avaliações: obstáculos e problemas

Ansiedade e postura defensiva

Intempestividade

Conclusões precipitadas

Questões políticas

Receptividade

É comum as pessoas não gostarem de ter seu trabalho avaliado

Informação precisa, mas produzida a custos muito altos ou em tempo não condizente com a tomada de decisão

Informação rapidamente produzida, mas não consistente em termos metodológicos

Por trás de cada programa há um grupo de interesse ou pessoas beneficiadas

Tomadores de decisão podem estar focados em outras problemáticas

Slide 41


Avaliações: sugestões

Explicitar objetivo da avaliação para gestores

Buscar tempestividade e utilidade para a tomada de decisão

Equilíbrio entre profundidade da avaliação

e tempestividade dos achados

Avaliadores devem entender os estilos cognitivos dos usuários da informação

Analisar méritos e deméritos do programa

Tentar responder à pergunta da avaliação e não justificar uma ideia já concebida

Banco Mundial: Expenditure Review, objetivo de enxugar

gastos

Slide 42


Mitos das Avaliações: alertas*

GARCIA (2015)

Mito da facilidade

Mito da impossibilidade

Resultante do desconhecimento da complexidade envolvida no processo (das conexões do

programa), fazendo que este seja entregue a equipes ou pessoas de boa vontade, mas sem o

devido preparo.

Impossibilidade de julgar ações complexas, por não existirem instrumentos capazes de fazê-lo. Tal mito se constituiria em um mecanismo de defesa

daqueles que temem a avaliação.

Slide 43


Avaliações: alertas

Fonte: WORTHEN et al. 2004, apud PPT Jannuzzi - PPT de Jannuzzi (SAGI/MDS)

Avaliações podem fornecer resultados inconclusivos, inoportunos, irrelevantes e tendenciosos

Avaliação mal concebida ou mal executada pode produzir informações enganosas ou falsas

Decisões importantes sobre programas e serviços essenciais acabam baseando-se inadvertidamente em informações falaciosas

Slide 44


Tipologias de Avaliação

Slide 45


Orçamento e Avaliação

Problemas e demandas

sociais

Definição de agenda

Percepção e definição das

questões públicas

FormulaçãoDiagnóstico e desenho de

programas

Tomada de DecisãoSobre programas e

público-alvo

ImplementaçãoProdução e oferta de

serviços

AvaliaçãoAnálise de

resultados e impactos

Decisão sobre continuidade / início

do ciclo

Avaliação de diagnóstico: problema Avaliação de diagnóstico: desenho

Avaliação de resultados e impactos

Avaliação de impacto

Orçamento

Avaliação de processo (monitoramento)

Slide 46


Influência política

PressãoParlamentares

Lobistas e empreiteiros

Canais burocráticos e políticos

Formação da Agenda

Demandas sociais

Sociedade organizada Ação política

Governo

Burocracia

Slide 47


Formação de agenda

• Portanto, os problemas são socialmente construídos

• Os problemas precisam ser estruturados• Formulação

• Descrição

• Clareza

• Para serem compreendidos, os problemas devem ser representados por modelos

Slide 48


Objetivo ImpactoResultadoProdutoProcessoInsumo

Objetivos definidos

Inputs / Recursos alocados

Atividades / Ações

desenvolvidas

Outputs / Entregas de

bens e serviços

Resultado imediato da intervenção

(público-alvo)

Resultado final da

intervenção (sociedade)

Economicidade

Eficácia

Eficiência

Efetividade

Dimensões da avaliação: desempenho (monitoramento)

Slide 49


Avaliação de Resultado e Impacto

Dimensões do desempenho

Economicidade – custo de produção (insumos)

Eficiência - relação entre custos incorridos e entregas ou resultados / benefícios gerados

Eficácia – entrega de bens e serviços (alcance dos objetivos e metas de produto / output)

Efetividade – alcance dos objetivos e metas relacionados à resolução do problema (efeitos para público-alvo e sociedade como um todo)

Slide 50


Avaliação de Diagnóstico*

Fase de planejamento e desenho dos programas

* Ver capítulos 5 e 6 de Brouselle et al (2016)

Slide 51


Diagnóstico: aspectos orçamentários

ProblemaQual o problema? A existência do problema deve estar

baseada em evidências : extensão, identificação

Por que é necessário intervir? Quais as causas sobre as quais se quer e se pode agir?Qual a melhor intervenção?Para qual grupo a intervenção deve ser dirigida?

Qual o custo de uma possível solução?

Há programas que atuam

sobre o problema?

Slide 52


Avaliação de Desenho

Arranjo institucional Papéis dos atores e suas capacidades

Análise dos produtos esperados e das metas

Insumos a serem aportados

Focalização: público-alvo e cobertura geográfica

Papel do programa dentro do contexto da política pública

Análise do objetivo da intervenção (viabilidade)

Jannuzzi (2013)

Atentar para os seguintes pontos:

Slide 53


Teoria do programa (modelo lógico)

• Analisa o mérito da intervenção do ponto de vista de seu modelo teórico (hipóteses causais) e do modelo operacional (hipóteses de intervenção).

• Essencial para:• Fazer as perguntas corretas (diagnóstico do problema)• Atribuição dos efeitos a mecanismos específicos (causas e

consequências)• Facilitar a avaliação

“Só vale à pena avaliar intervenções bem fundamentadas” (Champagne et al., 2011)

Slide 54


Fazendo as perguntas corretasUma pergunta bem formulada é o ponto de partida de uma avaliação

Deve ser guiada pelo interesse

central da política em questão

Hipóteses bem-definidas e testáveis

• Específicos• Mensuráveis• Atribuíveis• Realistas• Direcionados

Seleção de indicadores de

resultado e desempenho

Professores capacitados e os livros didáticos distribuídos, favorecem a aplicação do conteúdo e os alunos seguirem o currículo.

Fonte: Banco Mundial (2016) Cap. 2

qual é o efeito de um

novo currículo

de matemática sobre

as notas dos testes

dos alunos?

Slide 55



Objetivo intermediário(conhecimentos, atitudes)

Efeitos diretos da intervenção (utilização de preservativos)

Efeitos sobre o objetivo de saúde almejado (redução da incidência do HIV)

Objetivos específicos da intervenção (modificação do comportamento de

utilização de preservativos)

HIPÓTESE DA INTERVENÇÃO

HIPÓTESE CAUSAL

AtividadesProcessos

RecursosEstrutura

(um programa de educação sanitária)

VALIDADE DOS MEIOS

Modelo lógico teórico: redução da incidência do HIV

Fonte: Champagne et al (2011)

Slide 56



Estrutura simplificada do modelo lógico operacional (DST)

Insumo Processo Produto Resultado Impacto

Médicos por mil habitantes

Orçamento previsto

Recursos financeiros

liberados no mês

Médicos contratados

Campanhas realizadas

Diminuição da taxa de

morbidade por doenças DST

Aumento da expectativa de

vida da população

Fonte: Ministério do PlanejamentoBanco Mundial (2016) Cap. 2

Lado da oferta(implementação)

ResultadosDemanda + Oferta

Slide 57


Avaliação de Desenho: Teoria do programa

Análise da consistência interna (teoria do programa)

Insumos e atividades previstas compatíveis com os produtos e resultados esperados

Papéis a serem desempenhados pelos atores compatíveis com suas capacidades

Arranjos institucionais previstos compatíveis com a realidade

Metas equilibradas: nem modestas nem ambiciosas demais

Indicadores para monitorar e avaliar a política

Slide 58


Avaliação de Desenho: Focalização

Critérios de definição do público-alvo (correta caracterização e identificação do potencialbeneficiário)

Pop. potencial

Pop. elegível

Pop. priorizada

F

O

C

A

L

I

Z

A

Ç

Ã

O

Toda população possivelmente envolvida no problema

Parcela da população que poderá se candidatar por atender aos critérios de elegibilidade

Em função do excesso de demanda, podem ser estabelecidos critérios de priorização

Qdo não há focalização – pop. Potencial = pop.elegível

Residências sem esgotamento sanitário

Até 1 s.m per capita

Chefiados por mulher, com portador de deficiência, idoso

Ex: Programa de Melhoria Habitacional

OBS: na necessidade de redução de gastos, focalização pode ser umaforma de preservar quem mais precisa da política pública

Slide 59


Avaliação de Desenho: aspectos orçamentários

Reflexos no custo

Objetivo determinado

Programa Focalizado Metas críveis

Nível de financiamento

Slide 60


Avaliação de Processo*

* Ver capítulos 7 e 10 de Brouselle et al (2016)

Slide 61


Avaliação de Processo / Implementação

Fonte: Jannuzzi (2013)

Verificar se o programa está sendo implementado como previsto

Capacidade operacional das instituições de prover bens ou serviços ao público-

alvo - desempenho satisfatório?

Observar se o desenho está funcionando ou necessita de ajustes

Incidência de fatores que facilitaram ou dificultaram desempenho do programa

Etapa de execução do programa

Considerar o contexto de implantação dos programas

Slide 62


Estratégia de Implementação

• Execução direta

• Execução descentralizada

Convênios

Transferências voluntárias

Impacto na alocação de recursos

Exigência de contrapartida (LDO)

Avaliação de Processo / Implementação: aspectos orçamentários

Slide 63



Gestão e governança

Economicidade

Oportunidade de economicidade (redução de custo)

Oportunidade de maior eficiência (custo-benefício)

Entraves à eficácia (entrega dos produtos LOA)

Contexto de restrição fiscal - oportunidade de redução de custo ou aumento de eficiência?

Slide 64



Análise da acessibilidade

• Prazos (tempo)

• Distâncias (geográfica)

• Custos para os clientes (financeira)

• Cultural

• Informacional

Análise da Qualidade

• Melhoria contínua da qualidade

• Gestão da qualidade total

Análise da pertinência

• “um serviço será pertinente se puder ser eficiente (ou eficaz) segundo dados cientíticos

Fonte: Brouselle (2011) Cap. 7

Slide 65



Objetivos definidos



desenvolvidas


bens e serviços


(público-alvo)

Resultado final da


Economicidade

Eficácia

Eficiência


produtividade

Slide 66


Avaliação de Impacto e Resultado

Getter et al.(2018). Avaliação de impacto na prática.

Slide 67


Avaliação de impacto e resultados

• A avaliação de impacto estima as mudanças no bem-estar dosindivíduos que podem ser atribuídas a um projeto, política pública ouprograma específico.

• As avaliações de impacto abordam a efetividade de um programa em comparação com sua ausência

Enfoque: atribuição do resultado

Desafio central: identificar a relação

causal entre o programa ou política e os

resultados de interesse

Slide 68



“Correlação não implica causação”

Ano

Diagn

óstico

ind

ividu

al

Ve

nd

as

($ M

ilhõ

es)

AutismoVendas Produtos Orgânicos

Slide 69



“Correlação não implica causação”

Slide 70



Qual o impacto de um programa sobre um resultado?

Qual é o efeito causal das bolsas de estudo na

frequência escolar e no desempenho acadêmico

dos alunos?

Se o chão de terra batida fosse substituído por um piso de cimento, qual seria o impacto sobre a saúde das crianças?

Será que estradas melhores aumentam o acesso aos mercados de trabalho e a renda familiar? E, se o fazem, em quanto?

O tamanho das turmas nas escolas influencia o desempenho dos alunos? E, se o faz, em quanto?

Fonte: : Getter et al.(2018). Cap. 2

Slide 71



Tenha em mente:

• Os problemas estão descritos na literatura especializada:• A literatura médica descreve como parasitas são transmitidos e como a

infestação parasitária leva à diarreia infantil

• A cadeia lógica ajuda a entender os problemas

• Há métodos específicos para aferir o impacto de um programa

Fonte: Getter et al.(2018). Capítulo 2.

Gertler, Paul J., Sebastián Martínez, Patrick Premand,

Laura B. Rawlings e Christel M. J. Vermeersch. 2018.

Avaliação de Impacto na Prática, segunda edição.

Washington, DC: Banco Interamericano de

Desenvolvimento e Banco Mundial. Licença: CreativeCommons Attribution CC BY 3.0 IGO

Slide 72



Objetivos definidos



desenvolvidas


bens e serviços


(público-alvo)

Resultado final da


Efetividade


Slide 73



Objetivos definidos



desenvolvidas


bens e serviços


(público-alvo)

Resultado final da


Economicidade

Eficácia

Eficiência

Efetividade


Slide 74



Dimensões do desempenho

Economicidade – custo de produção (insumos)

Eficiência - relação entre custos incorridos e entregas ou resultados / benefícios gerados

Eficácia – entrega de bens e serviços (alcance dos objetivos e metas de produto / output)

Efetividade – alcance dos objetivos e metas relacionados à resolução do problema (efeitos para público-alvo e sociedade como um todo)

Slide 75



Desempenho da política

Geração de produtos (bens e serviços)

Geração de benefícios

Alcance de objetivos / cumprimento de metas

Efeitos para o público-alvo (curto, médio, longo prazo)

Verificar se o público-alvo foi, de fato, o público beneficiário atingido

Efeitos para a sociedade como um todo

Verificar se resultados / efeitos atribuídos decorrem da intervenção

(outros fatores / intervenções podem ser verdadeiros responsáveis)

Externalidades positivas e negativas / efeitos indiretos

Slide 76



• Avaliação precipitada (antes do tempo necessário para o programa mostrarresultados) pode levar à descontinuidade de um bom programa, que talvezprecisasse apenas de ajustes.

• Avaliação tardia pode inviabilizar a correção de rumos.

Mais longas, custosas, com investigação mais exaustiva dos componentes da intervenção (pesquisa de campo, contratação de

instituições externas)

Maturidade do programa / Tempestividade


Slide 77



Avaliação econômica

Externalidades

Contabilização de custos e clareza de indicadores

ACB: custos X produtos/resultados diretos

ACE: custos X resultados finais/impacto

Longo Prazo

Análise de Custo-Benefício e Análise de Custo-Efetividade

Slide 78


Avaliação econômica: custo-benefício e custo-efetividade

Nem sempre é possível com precisão: variáveis externas

Slide 79


Fonte: Jannuzzi (2013) Indicadores, Painéis de Monitoramento e Pesquisas de Avaliação como instrumentos paraaprimoramento de programas e projetos sociais. Apresentação de Power Point.

Avaliação econômica: custo-benefício e custo-efetividade

Comparação (ex: Benchmarking)

Considerar dinâmica econômica

Cuidado com a perda de qualidade.

Slide 80


IV. Avaliação Orçamentária

Slide 81


Um visão da avaliação orçamentária

Secretaria do Tesouro do Canadá• Os avaliadores devem acessar não apenas a relevância do programa

ou o alcance dos resultados, mas também os recursos que o programa utiliza

Como os recursos foram utilizados para

alcançar os resultados?

O montante de recursos foi razoável

para alcançar os resultados

observados?

Há alternativas que podem alcançar os

mesmos (ou outros) resultados com níveis de recursos distintos?

Slide 82


Canadá: Value for money

Valor para o dinheiro

Demonstração da relevância

Demonstração necessidade e responsividade

Alinhamento com as necessidades de governo

Alinhamento com as responsabilidades e papeis

federais

Demonstração do desempenho

Alcance dos resultados esperados (efetividade)

Demonstração de eficiência e economia

Qu

est

õe

s C

en

trai

s

Slide 83


Servir de instrumento para melhorar a alocação de recursos no orçamento

Melhorar gestão da política e qualidade do gasto público

Avaliação e Orçamento

Desafio da avaliação

Slide 84


Por que é difícil ser eficiente na alocação dos recursos públicos no orçamento?

Influência política

Multiplicidade de atores

Complexidade

Fonte: World Bank (2014) The Power of Public Investment

Management, p. 7 (com adaptações)

Slide 85


Por que é difícil ser eficiente na alocação dos recursos públicos?

Falta sinergia

Lógica de gasto

Horizonte temporal

Anualidade do orçamento

Dificuldades de coordenação

Incremental

Curto prazo

Compromissos plurianuais

Slide 86


Avaliação e Orçamento

Vinculação entre resultados da

avaliação e orçamento não é

imediata

Necessidade de levantar perguntas especificas sobre o

cenário orçamentário

Necessidade de “convencimento” dos tomadores de decisão

A política é a disputa pelo orçamento

Slide 87


Especificidades da avaliação orçamentária

Ajuda na priorização da despesa governamental

Alocação recursos conforme relevância do programa

Estímulo aos órgãos para serem mais eficientes (protegerem suas dotações)

Identificação de desperdícios

Slide 88


Especificidades da avaliação orçamentária

Avaliação vai na contramão das práticas incrementais

Preparação do orçamento geralmente não faz revisão da despesa já existente e foca na consideração do espaço para

novos gastos

É possível que programas ineficientes, de baixa prioridade ou desnecessários,

estejam sugando recursos

Avaliação pode servir de base para revisão da

despesa e para o debate sobre cortes não lineares, priorizando a eficiência e a

efetividade.

Redução da assimetria informacional

Prática dos cortes lineares em caso de contingenciamento

Só análise de desempenho nãobasta. Desempenho tem que estarcontextualizado (levar em conta aspolíticas que são mais necessáriaspara a sociedade)

Slide 89


Avaliação Ex-ante: perspectiva orçamentáriaComo analisar o desenho de uma nova política sob o ponto de vista dos gastos

Slide 90



Desenho da política

favorece:

Economicidade (custo)?

Eficiência (custo-

benefício)?Custo-efetividade?

Eficácia (entrega dos

produtos previstos na

LOA)?

Contexto de restrição fiscal - existe oportunidade de redução

de custo ou aumento de eficiência?

Slide 91



Verificação do impacto fiscal: recursos necessários paraimplementar a política pública, inclusive em termos plurianuais

Evitar obras paralisadas, serviços descontinuados (desperdício derecursos)

Capacidade Fiscal

Adequação dos recursos orçamentários / compatibilidade com produtos e resultados

almejados

Ver capítulo 5 do guia de Análise Ex Ante

Slide 92


Impacto orçamentário e financeiro

Política proposta deve respeitar legislação orçamentária, financeira e fiscal.

Programas novos concorrem com

despesas existentes

Constituição Federal(arts. 163 a 169) (EC 95/2016 )

PPA LDO LOA LRF

Manual Técnico do Orçamento (MTO)

Slide 93


Avaliação de Desenho –aspectos orçamentários

PPA

LDO

LOA

Médio prazo

Prioridades e metas fiscais

Programação orçamentária

4 anos

Cenários fiscais de 3

anos

Anual

• Compatibilidade com o PPA e a LDO• Adequação orçamentária e financeira com a LOA

Slide 94


Art. 9ºMetas de resultado fiscal

Art. 14Renúncia de receita

Arts. 15 e 16

Geração de despesa

Art. 17DOCC

Aspectos da LRF a serem considerados

Slide 95


DESPESA 1

Metas Fiscais (Art. 9º LRF)

Meta de resultado primário - LDO

Contingenciamento

Neutralidade fiscal

Compensação: Anulação parcial ou totalde dotações ou de créditosadicionais

DESPESA 2Para 2018, a LDO previu um déficit de R$ 159bilhões

Slide 96


Concessão ou ampliação de incentivo ou benefício denatureza tributária

Renúncia de receita (artigo 14 LRF)

Gasto

tributárioEstimativa do impacto

orçamentário-financeiro (exercício vigência e dois

seguintes)

Renúncia considerada na estimativa

de receita da lei orçamentária e não

afetará as metas de resultados

fiscais previstas no Anexo LDO.

Medidas de compensação

+

OU

Slide 97


Geração de despesa (Art.15 e 16 LRF)

Art. 16

Criação, expansão e aperfeiçoamento daação governamental que implique AUMENTODE DESPESA >> antes da licitação eempenho, deverá haver:

Fonte: Pascoal, Valdecir (2007) Direito Financeiro. Rio de Janeiro: Elsevier.

Estimativa do impacto orçamentário-financeiro no exercício financeiro em que deva entrar em vigor e nos dois subsequentes.

Declaração do Ordenador de Despesas de que o aumento tem adequação orçamentária e financeira com o PPA, LDO e LOA.

“Não observância dessas regras: gasto NÃO AUTORIZADO, IRREGULAR E LESIVO ao patrimônio público” (Art. 15)

Slide 98


Despesa obrigatória de caráter continuado (artigo 17 da LRF)

• Despesa Corrente• Lei, MP ou ato administrativo

normativo• Mínimo 2 exercícios

Fonte: Pascoal, Valdecir (2007) Direito Financeiro. Rio de Janeiro: Elsevier.

DOCC (LRF)

O que a Administração precisa fazer?

• Impacto orçamentário-financeiro (exercício em vigor e doissubsequentes)

• Origem dos recursos

• Não afetará metas de resultados fiscais (Anexo LDO)

• Plano de COMPENSAÇÃO

Slide 99


Ficar atento a...

Caráter obrigatório ou discricionário dadespesa

Aumento de despesas administrativas

Riscos potenciais

Impactos cruzados

Riscos fiscais

Saneamento X Saúde


Slide 100


Aspectos orçamentários: viés de otimismo

Fonte: World Bank (2014) The Power of Public Investment Management, p. 6

“Viés de otimismo”

Flyvberg (2009)

Ao analisar 258 projetos em 20 países, observou90% excedem estimativa• Sobrecusto:

Pontes e túneis – 34%Rodovias – 34%Ferrovias – 45%

Slide 101


Aspectos orçamentários: impactos sistêmicos

Geração de uma despesa pode demandaroutra

Slide 102


• Por exemplo, a construção de Unidades de Pronto Atendimento gera despesas correntes

Porte 1

População da área de abrangência da UPA

50.000 a 100.000 habitantes

Área física mínima 700 m²

Número de atendimentos médicos em 24 horas

Média de 150

Número mínimo de médicos das 7h às 19h

2 médicos

Número mínimo de médicos das 19h às 7h

2 médicos

Número de mínimos de leitos de observação

7 leitos

Despesa de Investimento

Despesas correntes

Aspectos orçamentários: impactos sistêmicos

Po

rtar

ia 3

42

/20

13

Min

isté

rio

da

Saú

de

Slide 103


Aspectos orçamentários: custos de manutenção

E a manutenção? Orçamentos futuros

Slide 104


X

Aspectos orçamentários: análise intertemporal do gasto

Boa política hoje pode poupar gastos futuros

Slide 105


• Ex: IGD-M do Bolsa Família

Aspectos orçamentários: proporcionalidade entre gastos administrativos e finalísticos

Gasto administrativo qualidade ao gasto finalístico

Capacidade institucional

Slide 106


Dicas para avaliação orçamentária

Slide 107


Avaliação orçamentária: possíveis abordagens

Análise da alocação de recursos a partir de olhar global da política (prioridades / sobreposição / impactos cruzados)

Governança orçamentária

“Revisão da despesa” - redução do gasto

Análise do impacto fiscal (curto, médio e longo prazos -plurianualidade)

Análise do desempenho de programas específicos (custos, resultados, impactos)


Slide 108


Avaliação orçamentária: Olhar global da política pública


Conexão da alocação de recursos com demandas prioritárias da sociedade

Conexão da alocação de recursos com prioridades de governo (vínculo decisão política, planejamento/PPA e

orçamento)

Contribuição do programa para a política pública

Slide 109


Avaliação orçamentária: Olhar global da política pública

Impacto em outras políticas (impactos cruzados) / Políticas complementares

Possíveis sobreposições

Foco além do curto prazo

Oportunidades para sinergias / economia de recursos


Slide 110


Avaliação orçamentária: Desempenho do programa

Desempenho: relação entre objetivos do programa, insumos empregados e produtos, resultados e impactos obtidos

Suficiência dos insumos para produzir produtos e resultados esperados - “realismo” orçamentário

Custo-efetividade

Comparação: programa ou desenho alternativo mais eficiente?

Custo-benefício

Slide 111


Avaliação orçamentária: escolha dos programas avaliados

Cenário de restrição fiscal

Escolha deva levar em consideração

Capacidade da equipe de realizar a avaliação

Percepção de ineficiência ou de possibilidade de importante fonte de economia de recursos

Despesa emblemática ou prioritária para o órgão e o Governo

Magnitude da despesa

Definir com clareza o objeto a ser avaliado

Política pública, programa, conjunto de ações ou de planos orçamentários

Slide 112



Desempenho - somente mais uma informação para a tomada de decisão

Desempenho ruim - decisão política pode ser inclusive de

aportar mais recursos

Fator político - tomada de decisão pode ir em sentido contrário ao do resultado da avaliação

Atrás de cada política pública - grupo de interesse ou pessoas beneficiadas

Importância social

Slide 113


Avaliação orçamentária: fontes de informação

Fontes de informação

Entrevistas com executores/estudiosos da política

Informações do Acompanhamento Orçamentário (físico/financeiro)

Informações sobre monitoramento e avaliação de objetivos e metas do PPA

Registros administrativos (DataSUS, CadÚnico, Caged)

Pesquisas / bases de dados do IBGE, INEP ou outras instituições

Estudos do IPEA e outros institutos (Fiocruz, área de saúde)

Slide 114



Fontes de informação

Acórdãos e relatórios de auditorias do TCU (esp. operacionais)

Literatura acadêmica Papers e estudos de organismos

internacionais (OCDE, Banco Mundial, FMI)

Relatórios de avaliação e de auditoria da CGU

Sugere-se mix de algumas dessas fontes (complementares). Fontes podem ser viesadas, daí a necessidade de equilíbrio.

Slide 115


Avaliação orçamentária: Impacto fiscal

Estimativa do montante da despesa ou da receita no curto, médio e longo prazos

Plurianualidade

Compatibilidade com as metas fiscais

Slide 116


Avaliação orçamentária: Impacto fiscal

Redução ou aumento de gasto ou de receita em outras rubricasImpacto fiscal cruzado

Despesas de manutenção: despesa com investimento gerando despesas correntes em exercícios futuros

Efeitos intertemporais: despesas com C&T e educação superior e aumento do IR no futuro

Impacto cruzado: despesa com intermediação de mão-de-obra (SINE) e redução de gasto com seguro-desemprego

Impactos sistêmicos: necessidade de complementaridade (geração de energia e linhas de transmissão)

Slide 117


Avaliação orçamentária: “Revisão da Despesa”

Objetivo

Busca

Reduzir a despesa para reduzir o déficit ou equilibrar as

contas públicas

Gerar espaço fiscal para outras despesas prioritárias,

mediante redução de despesas “ineficientes” ou de “menor

importância”

Ganhos de eficiência: entregar o mesmo nível de produtos

ou serviços a um custo menor

Economia dos produtos: entregar menos produtos de

programas não prioritários

Slide 118


Avaliação orçamentária: Governança Orçamentária

Ação “guarda-chuva”

Boa distribuição da alocaçãoPulverização

Remanejamentos

Dotação mais agregada

Timing

Fluxo de caixa

Boa alocação e gestão de recursos

Slide 119



Carteira de empreendimentos inadequada ao orçamento

Obras paradas ou em ritmo muito lento

Aumento do custo unitário nas próximas contratações

Gastos de remobilização

Slide 120


“Janela orçamentária”

“dinheiro aparece”

Manobras orçamentárias

Compatibilidade com orçamento


Slide 121


Subestimação de custos

696 milhões (estimativa inicial)

1,1 bilhão(custo final)

Fonte: Correio Braziliense, 2017.

Aumento de R$ 488,2 milhões no valor docontratoFonte: TCDF

27 ADITIVOS

Mal planejamento? Pressa? Falta de informação?

Despreparo dos técnicos? Falhas na fiscalização?


Estádio Mané Garrincha

Slide 122


Exemplo 1. Ferrovia Transnordestina

Restrição fiscal: “escalabilidade”

Escalonamento das entregas

Fonte: Jornal Nacional, 2017.

Exemplo 2. Ponte 25 de Abril


Slide 123


“Elefantes brancos”

Fonte: World Bank (2014) The Power of Public Investment Management (p. 86-87)

1) Excesso de capacidade

2) Falta de recurso para operação/manutenção

3) Investimento nunca completado

Estudos de

previsão da

demanda


Slide 124


Desperdício

Custo de oportunidade

Falta de governança: baixa eficiência / custo elevado

Pode conduzir a...

Slide 125


Implementação da avaliação – dicas

Processo de aprendizagem institucional contínuo e interativo

Proporcionar subsídios para a tomada de decisão mais consistente

Fundamental capacitar os servidores para avaliações

Avaliação

Mudar cultura da instituição

Slide 126


Implementação da avaliação – dicas

Evitar “ESPASMOS AVALIATIVOS”

Quando determina-se aos subordinados avaliações das ações sem planejamento e preparação prévia (capacitação)

Transtorno na rotina dos subordinados

Dados defasados e pouco confiáveis

Tudo volta a ser como antes até próximo espasmo

Pouca utilidade para tomada de decisão

Resultados inconclusos e vagos

Slide 127


Avaliação no Governo Federal

MP

CMAP

Ministérios Setoriais

Avaliação das Variáveis Macroeconômicas: desempenho dos agregados econômicos considerados relevantes para

o PPA

Iniciando processo

PPA

SOF

Avaliações dos Programas Temáticos: avaliação de cada programa temático / evolução de metas e indicadores

MP, MF, CC, CGUComitê de Monitoramento

e Avaliação de Políticas Públicas Federais

MDSSecretaria de Avaliação e Gestão da

Informação (SAGI)

Slide 128


Avaliação orçamentária: desafios

Para avaliação orçamentária cumprir seu papel, necessário que processo de preparação do orçamento considere as evidências

encontradas sobre a política pública

RETROALIMENTAÇÃO

Conectar avaliação e orçamento

Avaliação ainda não foi “customizada” para as necessidades dos decisores orçamentários

Mas contexto está mudando: crise fiscal pressiona por aumento da eficiência e

economicidade

Slide 129


Avaliação Orçamentária: exemplos

Slide 130


Exemplos - Avaliações Realizadas

Fundo de Financiamento Estudantil – FIES

Objetivo Analisar o impacto orçamentário e a sustentabilidade fiscal do novo Fies (MP

785/2017).

Slide 131


Histórico Fies


Número de Contratos firmados pelo Fies financiados com recursos do Tesouro (Milhares)

32,676

154,3

377,8

559,8

732,6

287,4

192,5

173,9*100**

0

100

200

300

400

500

600

700

800

2009 2010 2011 2012 2013 2014 2015 2016 2017 2018

Fonte: MEC. Elaboração SOF/MP*Para 2017 o valor estimado

corresponde ao número de matrículasverificadas no 1º semestre mais as 75 milnovas vagas ofertadas no 2º semestre.

** Em 2018 100 mil vagas apenaspara o FIES I.

Slide 132


Fonte: STN (2015); Câmara dos Deputados (2017);

TCU (2016).

* O percentual previsto terá que ser referendado pelo

Conselho Monetário Nacional (CMN). No caso do

Fies II, é possível que o CMN decida por deixar que

a taxa de juros seja regulada pelo mercado, sem

determinação de um percentual específico.

** Condições de concessão do financiamento ao

estudante definidas entre o agente financeiro, a

instituição de ensino superior e o estudante,

obedecidos os critérios estabelecidos pelo Conselho

Monetário Nacional.


Fies: Público alvo

Fies-2010*

Fies-2015Fies-2017

Modalidade I Modalidade II Modalidade III

Critério de seleção

quanto à renda familiar

Até 10 s.m

(100%)

Até 15 s.m.

(75%)

Até 20 s.m.

(50%)

2,5 s.m. per

capita

Até 1,5 s.m. per capita

(cobertura total do FG-

Fies)

Até 3 s.m per capita

(cobertura parcial –

necessária

apresentação de

garantia)

Até 5 s.m. per

capita

Até 5 s.m. per

capita

Fontes: Câmara dos Deputados (2017), TCU

(2016).

*Valores financiados também dependentes do

percentual de comprometimento da renda

familiar.

Slide 133


Intervenção: Estratégia de Atuação

Fonte: MP nº 785/2017; Câmara dos

Deputados (2017).

Slide 134


Impacto Orçamentário e Financeiro


FIES pode afetar o resultado

primário por 4 vias

Subsídio implícito

“Net Lending” / Inadimplência

Garantias

Taxa AdministrativaNovo modelo: o estudante arcará integralmente com os

custos administrativos

FGEDUC (aportes do governo); FG-FIES a partir de 2018 (tbaporte privado)

Registra-se como despesa primária o resultado integral dos desembolsos menos reembolsos (pagamentos recebidos)

Quanto maior a inadimplência, maior o gasto primário.

Incentivo aos programas de financiamento estudantil

Slide 135


Novas regras do Fies e OrçamentoExemplos - Avaliações Realizadas

Subsídio implícito

“Net Lending” / Inadimplência

Garantias

Taxa AdministrativaProblema equacionado com pagamento da taxa administrativa pelo

estudante (e não mais pelo Governo Federal)

Criação de um novo fundo, o FG-Fies, que prevê um maior papel das mantenedoras das IES na garantia do risco, limitando o aporte do

governo federal à R$ 2 bilhões.

Transferência do risco da inadimplência dos contratos às IES privadas, a partir de contribuições variáveis ao FG-Fies. O retorno dos financiamentos concedidos será baseado na capacidade de

pagamento do estudante após a graduação, com base na renda (algo entre 10% e 14%). Em caso de desemprego, pagamento de valor

similar ao da coparticipação que já vinha pagando.

Permanece, mas possivelmente para um menor número de contratos

Slide 136


Subsídio Implícito

Cenário Fies 2018

Mensalidade média R$ 1.063,00

Coparticipação média 21%

Prazo médio de utilização 48 meses

Taxa de inflação (IPCA) anual 6,1%

Taxa de Juros (Selic) anual 196%

Fonte: FNDE. Elaboração SOF/MP.

Para estimar o subsídio segundo o tempo de amortização, calculou-se cenários de pagamento considerando os parâmetros a seguir:

Slide 137



Além do subsídio implícito em termos percentuais, simulou-se o tempo médio que os beneficiários levarão para quitar a dívida estudantil

Duas variáveis afetam o tempo de pagamento

Tamanho da coparticipação –função da faixa de renda familiar

Gênero e raça dos indivíduos –diferenças salariais

• Apenas 17% dos contratos têm por beneficiário homens brancos

• 60% dos contratos têm por beneficiário mulheres

Slide 138


De acordo com o exercício simulado, os recortes abaixo levarão, em média, paraamortizar a dívida:

Impacto orçamentário e fiscal de longo prazo

Quanto menor a renda, maior o tempo levado para amortizar a dívida e maior o subsídioimplícito

• 8 anos para homens brancos (30% de subsídio)

• 11,4 anos para homens negros (pardos e pretos)(34% de subsídio)

• 13 anos para as mulheres brancas (36% desubsídio)

• 22,9 anos para as mulheres negras (43% desubsídio)

Fonte: SOF/MP e Elaboração SOF/MP.

Slide 139



Quanto maior o tempo de pagamento, maior o subsídio implícito

Entre os contratos simulados, verifica-se grande variação do tempo de pagamento, por conta da variação da renda dos indivíduos e do tamanho da coparticipação

O subsídio variará de 30% a 45%, a depender do tempo de amortização

Subsídio implícito em função do tempo (linha) e percentual de contratos amortizados por ano (barra) –ponderado por distribuição de renda e gênero

amo

rtizado

sde

Fonte: IBGE e FNDE. Elaboração SOF/MP

Slide 140


Impacto orçamentário e fiscal de longo prazo

Retornos do valor financiado ao Tesouro Nacional ficarão entre 55% e 70% a depender do prazo de pagamento

Subsídio implícito potencialmente maior que o previsto pelo FNDE/MEC e pela Seae/MF (tempo de amortização considerando diferenças salariais de gênero e

raça e distribuição dos contratos em função desses fatores)

Tempo médio de amortização previsto

SOF - 15 anos (subsídio de 38%)

FNDE - 14 anos (subsídio de 36%)

Seae - 12 anos (subsídio de 35%)

Slide 141


CONCLUSÕES

A nova regra do Fies, levando-se em conta a previsão de vagas para 2018 (100 mil vagas Fies I), contribui para a sustentabilidade fiscal, pois:

Repassa para os estudantes as despesas administrativas

CMN pode alterar a taxa de juros do programa

Subsídio individual aumenta mas, com a redução de vagas, subsídio total tende a se reduzir

Transfere risco da inadimplência dos contratos às IES privadas, a partir de contribuições variáveis ao FG-Fies

Após o repasse inicial para o FG – Fies (R$ 2 bi), os novos aportes serão feitos pelo setor privado

Do ponto de vista fiscal, o Novo Fies 2018 alinha-se aos

esforços de equilíbrio das contas públicas. Além disso, o novo desenho do programa tem viés redistributivo ao

privilegiar o atendimento à população de baixa renda.

Slide 142



EMISSÃO DE PASSAPORTES

Objetivo: Analisar a situação orçamentária dos serviços de manutenção doSistema de Emissão de Passaporte, Controle do Tráfego Internacional e deRegistros de Estrangeiros, de responsabilidade do Departamento de PolíciaFederal, do Ministério Extraordinário de Segurança Pública.

A taxa de emissão do passaporte tem valor muito superior ao seu custo de emissão, gerando uma receita muito maior que a despesa com essa atividade. O valor excedente é direcionado para o custeio das demais ações do Departamento de Polícia Federal. O controle migratório, apesar de custar muito menos que a área de passaportes e ter menos visibilidade, apresenta maiores entraves operacionais, tanto na questão de pessoal quanto na de infraestrutura.

Slide 143



EMISSÃO DE PASSAPORTES

Comparação internacional

País Órgão responsávelTempo para

emissãoTaxa (US$) Vigência

Brasil Ministério da Justiça - DPF 10 dias 79,75 10 anos

Chile Serviço de Registro Civil e Identificação 6 dias úteis 147,32 5 anos

Argentina

Ministério do Interior - Registro Nacional de las

Personas (RENAPER) 15 dias 536 10 anos

USA

Departamento de Estado - Bureau of Consular

Affairs 2 a 3 semanas 1100 10 anos

Mexico Secretaria de Relaciones Exteriores Depende validade 136,58 10 anos

UK Home Office - Her Majesty's Passport Office 3 semanas 1056 10 anos

França

Ministério de Assuntos Estrangeiros e

Desenvolvimento Internacional

Depende do local

e do período da

solicitação. 105,94 10 anos

Colômbia Ministério das Relações Exteriores 1 a 5 dias 55,59

Turquia Turkish Police NI 174,68 10 anos

África do Sul Department of Home Affairs NI 33,50 10 anos

China Ministério de Assuntos Estrangeiros 10 dias úteis 25,21 10 anos

Slide 144


245,2

148,9

394,1

262

155,6

417,6379,1

203,1

582,2

273,2

211,9

485,1

253,8236,1

489,9

2013 2014 2015 2016 2017

Receita Taxas Passaporte Valor Empenhado Ação 2586 Superávit

Arrecadação com taxas dos passaportes vs. gastos da ação 2586 (em milhões de R$)

Fonte: SIOP. Elaboração: SOF/MPDG


EMISSÃO DE PASSAPORTESDotação inicial e final alocada na Ação 2586 em milhões de R$ (de 2011 a 2017)

Ano LOA Dotação Atual (a) Empenhado (b) (b) / (a)

2011 78,0 155,8 138 84%

2012 133,0 149,7 131,5 88%

2013 90 170 148,9 88%

2014 170 170 155,6 92%

2015 160 204,4 203,1 99%

2016 158,9 211,9 211,9 100%

2017 129 247,4 236,1 95%

2018 253,1 253,1 - -

Fonte: SIOP. Elaboração: SOF/MPDG.

Custo cadernetaR$ 62,90

Slide 145


Exemplos - Avaliações RealizadasEMISSÃO DE PASSAPORTES

O programa é efetivo

Produtividade: parece ser possível incrementar o nível de serviço sem aumento correspondente nos recursos orçamentários e financeiros, pelo aumento de produtividade – a melhoria tecnológica demanda menos servidores

Controle migratório, apesar de custar muito menos que a área de passaportes e ter menos visibilidade, apresenta maiores entraves operacionais, tanto na questão de pessoal quanto na de infraestrutura

Não é possível justificar que o cidadão não receba o documento pelo qual pagou devido a trâmites burocráticos relacionados à LOA

Slide 146



BOLSAS CAPES

Objetivo: Analisar a adequação orçamentária da alocação das bolsas de pós-graduação da CAPES sob o ponto de vista quantitativo e estratégico.

Mais de 80% dos recursos da Capes para concessão de bolsas destinam-se a três Programas (Demanda Social, PROEX – Programa de Excelência Acadêmica e PNPD – Programa Nacional de Pós-Doutorado).

Essa concentração reduz a capacidade da CAPES de representar sua visão estratégica para a ciência brasileira no longo prazo.

Sugere-se reavaliar o processo de distribuição de bolsas para a pós-graduação no país, considerando um melhor equilíbrio entre osprogramas de fomento institucionais e os programas estratégicos.

Slide 147



BOLSAS CAPES

Média da OCDE

(25 por 100 mil hab.)

9,3

0

10

20

30

40

50

Eslo

vênia

Suíç

aR

ein

o U

nid

oD

inam

arc

aIr

landa

Suécia

Fin

lândia

Austr

ália

Ale

manha

Eslo

váquia

Nova Z

elâ

ndia

Noru

ega

Coré

iaA

ustr

iaB

élg

ica

Espanha

Republica C

heca

Port

ugal

Esta

dos U

nid

os

Luxem

burg

oF

rança

Canadá

Rússia

Isra

el

Itália

Estô

nia

Lituânia

Letô

nia

Japão

Hungária

Polô

nia

Bra

sil

Turq

uia

Méxic

oC

hin

aC

hile

Indonédia

Índia

Colô

mbia

po

r 100 m

il h

ab

.

Doutores Formados por 100 mil hab. (países selecionados)

Fonte: OCDE.STATS. Elaboração SOF/MPDG

Slide 148


Exemplos - Avaliações RealizadasBOLSAS CAPES

10

20

30

40

50

60

70

80

90

100

110

10

20

30

40

50

60

70

80

90

100

110

1996 1998 2000 2002 2004 2006 2008 2010 2012 2014 2016

Bols

as c

oncedid

as (

milh

are

s)

Bols

as p

or 1

00 m

il hab.

Legenda

Bolsas Concedidas (milhares)

Bolsas por 100 mil hab.Bolsas concedidas

pela CAPES – série

histórica

O crescimento do número de bolsas concedidas foi uma política exitosa Permitiu a fixação dos mestres e doutores nos programas, fortalecendo a pós graduação

nacional Permitiu desconcentrar territorialmente a pós-graduação nacional

Em 1996, 71,6 % das bolsas pagas concentravam-se na região Sudeste; em 2016, 47% iam para essa região; no Nordeste, houve aumento de participação: de 9,6% para 17,6% no mesmo período.

Slide 149



PISO DE ATENÇÃO BÁSICA VARIÁVEL – ESTRATÉGIA SAÚDE DA FAMÍLIA (ESF)

Objetivo: Analisar efeitos da Estratégia Saúde da Família (Atenção Básica) no acesso à saúde e nas condições de saúde da população.

O aumento de investimentos na Atenção Básica, expandindo oacesso a serviços adequados de saúde para a população maiscarente, contribui para a redução das desigualdades sociais

A ESF colabora também para diminuir as internações hospitalarespor condições sensíveis à atenção primária, reduzindo, portanto, ovolume de recursos necessários ao custeio dos tratamentos demédia e alta complexidade, sabidamente mais dispendiosos.

Slide 150




Mês/AnoEstimativa de População

CobertaCobertura (%) Equipes

set/02 54.251.519 31,47 16.463

set/03 60.676.037 34,74 18.524

set/04 69.884.206 39,43 21.475

set/05 76.040.405 42,90 23.664

set/06 85.488.821 46,06 26.650

set/07 82.655.385 43,92 25.551

set/08 93.552.974 587 29.684

set/09 97.219.297 51,27 30.746

set/10 100.794.325 52,63 31.974

set/11 103.341.603 54,17 32.847

set/12 106.855.618 55,55 34.090

set/13 109.813.892 56,61 35.061

set/14 121.973.023 666 39.229

set/15 126.158.982 62,16 40.672

set/16 129.227.431 63,20 41.727

set/17 130.487.012 63,31 42.105

Slide 151




10097,93 98,22 97,03

91,7987,79

85,4481,73

10097,45 97,56

95,76 94,60 93,2991,47 92,59

2000 2001 2002 2003 2004 2005 2006 2007

Queda nas taxas de internações hospitalares no Brasil em termos percentuais

Taxa deinternaçõespor condiçõessensíveis

Taxa deinternaçõespor outrascondições

Fonte: Datasus e IBGE

Slide 152




Investimentos em Atenção Básica reduzem gastos com internações

Os estudos, em geral, apontam para a diminuição das Internações por Condições Sensíveisà Atenção Primária em índice superior às demais internações no Brasil

Redução da mortalidade infantil: estudos comprovam que a implementação daESF contribuiu para a redução da mortalidade infantil

De 1996 a 2004, a mortalidade até 1 ano da população coberta por ESF sofreu umaredução de 42,65%, passando de 27,9 para 16,0 (por mil nascidos vivos), ou seja, uma reduçãomaior do que a verificada entre a população não coberta pela ESF (37,4%)

Cobertura heterogênea

Limitações impostas pela LRF para contratação de pessoal: as despesas compessoal referentes às equipes de Saúde da Família efetuadas pelos municípios,ainda que pagas com recursos recebidos da União, entram no cálculo do limitede pessoal para efeitos da LRF

Nesse sentido, os repasses federais para despesas em saúde não ampliam os limites dosmunicípios para despesas com pessoal, principal item das despesas com a ESF

Slide 153


REFERÊNCIAS SUGERIDAS

• BROUSSELLE, Astrid (Org.). Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz, 2011.

• COTTA, Tereza. Metodologias de avaliação de programas e projetos sociais: análise de resultados e deimpacto. Revista do Serviço Público / ENAP, ano 49, nº 2, 1998.

• FORTIS, Martin Francisco de Almeida; GASPARINI, Carlos Eduardo. Plurianualidade orçamentária no Brasil:diagnóstico, rumos e desafios. Brasília: Enap, 2017.

• GARCIA. Ronaldo. C. Subsídios para organizar avaliações da ação governamental. In: CARDOSO JR. JoséCelso e CUNHA, Alexandre. Planejamento e Avaliação de Políticas Públicas. IPEA, 2015.

• GERTLER, Paul J. et al. Avaliação de Impacto na Prática, Segunda edição. World Bank Publications, 2018.

• GOBIERNO DE CHILE. Evaluación Focalizada de Ámbito - EFA. Dirección de Presupuestos. Octubre de 2016

• HOWLETT, M. e RAMESH, M. Studying Public Policy: policy cycles and policy subsystems. Oxford UniversityPress. 1995.

Continua na próxima pg.

Slide 154


REFERÊNCIAS SUGERIDAS

• JANNUZZI, Paulo. Avaliação de programas sociais no Brasil: repensando práticas e metodologias daspesquisas avaliativas. Planejamento e Políticas Públicas. nº 36, 2011.

• ________. Indicadores, Painéis de Monitoramento e Pesquisas de Avaliação como instrumentos paraaprimoramento de programas e projetos sociais. Apresentação de Power Point, 2013. Disponívelem: http://institutofonte.org.br/sites/default/files/PPT%20Paulo%20Jannuzzi.pdf

• ________. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Est. Aval.Educ., São Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014.

• MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Indicadores - Orientações BásicasAplicadas à Gestão Pública. 2012.

• VEDUNG, Evert. Public policy and program evaluation. Routledge, 2017.

• WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. (2004) Avaliação de Programas: concepções epráticas. São Paulo: Editora Gente.

http://institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf

Slide 155


Obrigado!

Documents

Avaliação de Políticas Públicas um Enfoque Orçamentário · Slide 27 XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas Abordagens sobre o