44
1 Auditoria de Desempenho: Por quê? Como? Para quê? Porto Alegre, setembro de 2009

Auditoria de Desempenho:Por quê? Como? Para quê?

Embed Size (px)

DESCRIPTION

Metodos de pesquisa.

Citation preview

Page 1: Auditoria de Desempenho:Por quê? Como? Para quê?

1

Auditoria de Desempenho:Por quê? Como? Para quê?

Porto Alegre, setembro de 2009

Page 2: Auditoria de Desempenho:Por quê? Como? Para quê?

2

Sumário

1 - O que é Anop2 - Auditoria Operacional ou de

Conformidade?3 - Anop: vale a pena?4 - Como fazer?

Page 3: Auditoria de Desempenho:Por quê? Como? Para quê?

3

1 - O que é Auditoria de Desempenho

Page 4: Auditoria de Desempenho:Por quê? Como? Para quê?

AtividadeInput Output Outcome

EfetividadeEconomicidade Eficiência

Manter custos baixos

Fazer o máximo com os recursos disponíveis

Alcançar os resultados estipulados

O modelo insumo-produto

Intenção

Page 5: Auditoria de Desempenho:Por quê? Como? Para quê?

5

Principais Dimensões de Desempenho

Page 6: Auditoria de Desempenho:Por quê? Como? Para quê?

6

Conceito

Auditoria de Desempenho (ou ANOp)

Exame independente da eficiência e da efetividade das atividades, dos programas e dos organismos da Administração Pública, prestando a devida atenção à economia, com objetivo de realizar melhorias.

Diretrizes para Aplicação de Normas de Auditoria de Desempenho

Organização Internacional de Entidades Fiscalizadoras Superiores

INTOSAI (ISSAI 3000/1.1)

Page 7: Auditoria de Desempenho:Por quê? Como? Para quê?

7

Outras Dimensões

Qualidade Transparência Participação social Sustentabilidade Articulação institucional Aplicação de boas práticas Eqüidade

Page 8: Auditoria de Desempenho:Por quê? Como? Para quê?

8

Requisitos para um auditor de desempenho (ISSAI 3000/2.2)

– Conhecimentos técnicos

• metodologia das ciências sociais, investigação científica, métodos de investigação qualitativa e quantitativa, técnicas de coleta de dados, técnicas de análise de dados.

• administração pública, planejamento e orçamento público, políticas públicas.

Page 9: Auditoria de Desempenho:Por quê? Como? Para quê?

9

Requisitos para um auditor de desempenho

(ISSAI 3000/2.2)

– Competências pessoais

• habilidade analítica• criatividade• receptividade• habilidade de relacionamento pessoal• boa habilidade em comunicação oral e

escrita• integridade• persistência• discernimento

Page 10: Auditoria de Desempenho:Por quê? Como? Para quê?

10

2 - Desempenho ou conformidade?

Page 11: Auditoria de Desempenho:Por quê? Como? Para quê?

Auditoria de

Desempenho

Auditoria de

Conformidade

Como um

Juiz/Magistrado

Como um analista

de políticas

públicas

Como um consultor organizacional

Como um auditor

público

De acordo com a Lei

Verdade científica, explanação

De acordo com as regras e regulamentos oficiais

Contribui para a melhoria da organização

Page 12: Auditoria de Desempenho:Por quê? Como? Para quê?

12

Dilema: auditoria de desempenho ou de conformidade?

– "Existe uma pressão por parte da opinião pública para que os órgãos de controle atuem prioritariamente no combate à corrupção.

– No entanto, os tribunais de contas têm buscado, cada vez mais, enfatizar os instrumentos de avaliação dos resultados com ênfase na divulgação das boas práticas administrativas.

– Como conciliar estes dois focos de controle?"

Page 13: Auditoria de Desempenho:Por quê? Como? Para quê?

13

Um falso dilema

– Como identificar corrupção sem olhar para resultados?

– Avaliar resultados leva a:• conhecer melhor o funcionamento da administração

pública;• desenvolver visão sistêmica;• identificar pontos de ineficiência;• priorizar ações de controle em pontos mais sensíveis.

– O adequado controle externo pressupõe interação entre a avaliação de resultados e as ações de combate à fraude e corrupção.

– Desempenho e conformidade são aspectos complementares do controle.

Page 14: Auditoria de Desempenho:Por quê? Como? Para quê?

14

“O caráter distinto da auditoria operacional não deve ser considerado como um argumento que prejudique a

colaboração entre os dois tipos de auditoria.”

(ISSAI3000/1.2)

Page 15: Auditoria de Desempenho:Por quê? Como? Para quê?

Há algo de especial em ANOp?

• Auditoria de Desempenho não tem suas raízes na forma de auditoria comum ao setor privado,

• mas na necessidade por uma análise independente e ampla de aspectos econômicos, de eficiência e efetividade de programas ou instituições governamentais, feito de forma não recorrente.

ISSAI 3000/1.2

15

Page 16: Auditoria de Desempenho:Por quê? Como? Para quê?

16

3 – Auditoria de desempenho:vale a pena?

Page 17: Auditoria de Desempenho:Por quê? Como? Para quê?

Introduzir Anop não é fácil

• Ambiente político• Cultura administrativa• Hábitos e cultura interna das instituições• Recursos e competências• Infraestrutura e práticas• Engajamento da alta administração

Mas quem faz diz que vale a pena

Page 18: Auditoria de Desempenho:Por quê? Como? Para quê?

% do esforço dedicado pelas EFS a diferentes atividades

Instituição Auditoria de desempenho

Auditoria financeira

Outras atividades

Holanda Rekenkamer

69 31

Inglaterra NAO 38 43 19

Suécia RRV 09 21 70

Finlândia VTV 48 35 17

Page 19: Auditoria de Desempenho:Por quê? Como? Para quê?

19

Government Accountability Office GAO - EUA

– 90% de mandatos e demandas do Congresso• 80% auditoria de desempenho• 20% auditoria financeira

– Relatórios e testemunho e briefings perante comissões do Congresso

• 189 vezes em 2003: 1043 ações foram tomadas pelas agências em decorrência da atuação do GAO (2003).

– 2.176 recomendações• 82% implementadas em até cinco anos

Page 20: Auditoria de Desempenho:Por quê? Como? Para quê?

TCU gera benefício de R$ 4,1 bilhões no 2º trimestre/2009

Auditoria no BPC• economia potencial de cerca de

R$ 2,6 bilhões, em cinco anos

Auditoria no PROUNI/FIES• economia potencial de cerca de

R$ 1,1 bilhão em quatro anos

• 2 Trabalhos geram benefício potencial de R$ 3,7 bilhões• Cerca de 90% dos benefícios totais

Resultado imediato: ações estruturantes dos Ministérios.

Page 21: Auditoria de Desempenho:Por quê? Como? Para quê?

21

4 – Como fazer?

Page 22: Auditoria de Desempenho:Por quê? Como? Para quê?

22

Planejamento

ExecuçãoComentário do gesto

r

Apreciação

Divulgação

Ciclo de Auditoria

Monitoramento

Seleção

Análise e Relatório

Plano estratégico

Page 23: Auditoria de Desempenho:Por quê? Como? Para quê?

23

Seleção de auditoriasTema de Maior Significância

Teste de nova estratégia de seleção

• Um novo paradigma para a elaboração de um plano de fiscalização

– Planos de fiscalização por TEMAS - FUNÇÕES de governo• Comparar os comparáveis• Agenda plurianual• Diferentes modalidades de fiscalização

– A partir de um diagnóstico completo• Não apenas de características dos programas ou órgãos de governo• Considera as demandas diagnosticadas• Aproveita diagnósticos já realizados e experiência anterior

– Abordagem do geral para o específico (TOP-DOWN)• Facilita o desenvolvimento do conhecimento• Visão sistêmica das áreas a auditar• O planejamento das auditorias não parte do “zero”

Page 24: Auditoria de Desempenho:Por quê? Como? Para quê?

24

A construção do “plano de fiscalização”

• Mapeamento de intervenções governamentais (políticas, programas)

• Diagnósticos dos problemas na sociedade• Associação entre problemas e intervenções• Análise orçamentária e institucional-legal• Divisão do tema em subtemas• Análise por subtemas - materialidade - relevância - risco

Page 25: Auditoria de Desempenho:Por quê? Como? Para quê?

25

Planejamento da auditoria

– Diagnóstico– Validação– Definição dos critérios de auditoria– Projeto de auditoria– Teste Piloto– Painel de referência– Revisão do projeto– Relatório de planejamento– Preparação para trabalhos de campo

Page 26: Auditoria de Desempenho:Por quê? Como? Para quê?

26

Planejamento Principais técnicas de diagnóstico

Mapa de Processos Mapa de Produtos e

Impactos Análise SWOT Análise dos

Stakeholders Diagrama de

Verificação de Riscos Verificação de

Controles Internos Benchmarking Análises quantitativas

Mapa de Processos e Mapa de Produtos e ImpactosMapa de Processos e Mapa de Produtos e ImpactosFonte: Equipe de AuditoriaFonte: Equipe de Auditoria

Page 27: Auditoria de Desempenho:Por quê? Como? Para quê?

27

Execução da auditoria: Achados

– Condição (O que está ocorrendo?)• Situação Real

– Critério (O que deveria estar ocorrendo?)• Metas, objetivos, padrões e regulamentos, boas práticas

– Causa (Por que existe uma desconformidade?)• Razões para fatos indesejáveis ocorrerem ou fatos

desejáveis não ocorrerem

– Efeito (E daí?)• Resultado ou impacto da desconformidade

– Proposta de ação (O que deve ser feito?)• Análise que irá auxiliar a proposta de encaminhamento

Page 28: Auditoria de Desempenho:Por quê? Como? Para quê?

28

CR

ITÉ

RIO

CO

ND

IÇÃ

O

AC

HA

DO

CAUSA

EFEITO

Achados: relação de Causa e Efeito

É possível estabelecer relação de causa e efeito?

É necessário estabelecer relação de causa e efeito?

Page 29: Auditoria de Desempenho:Por quê? Como? Para quê?

29

Exemplo

ASSISTÊNCIA SOCIAL

BPC

Page 30: Auditoria de Desempenho:Por quê? Como? Para quê?

30

Associação entre problemas e intervenções

– As políticas sociais não nascem dissociadas da realidade em que estão inseridas.

– São concebidas e implementadas com o objetivo de combater e solucionar os problemas presentes na sociedade.

Principais problemas combatidos por políticas de assistência social:

pobreza, desigualdade, insegurança alimentar, rompimento de vínculos

familiares, violência doméstica.

Principais políticas para mitigar vulnerabilidades:

transferência de renda,

entrega de alimentos

processados ou in natura,

trabalhos especializados de

assistentes sociais e psicólogos

com famílias desestruturadas.

Page 31: Auditoria de Desempenho:Por quê? Como? Para quê?

31

Divisão do temaAgrupamento de dezenas de programas e ações em quatro grandes

políticas:

– Transferências de Renda Condicionada (Bolsa Família);– Pensões Não-Contributivas (Benefícios de Prestação Continuada -BPC -

Idosos e Deficientes Físicos);– Segurança Alimentar (não limitada a programas sob responsabilidade

do MDS);– Assistência Social Stricto Senso.

Critérios para divisão do tema:

– Literatura acadêmica sobre o tema;– Importantes diferenças de escopo entre políticas.

Page 32: Auditoria de Desempenho:Por quê? Como? Para quê?

32

Análise por subtemas

1º Critério - Materialidade orçamentária dos programas ou ações

– A materialidade orçamentária vem acompanhada da abrangência no alcance de beneficiários (Bolsa Família e BPC).

2.º Critério - Possibilidade de ocorrência de fraudes e desvios devido à debilidade dos sistemas de controle

– (Controles Internos dos Ministérios, Controles Sociais, Controles Exercidos pela CGU)

3º Critério - Possibilidade de ineficácia das políticas propostas.

Page 33: Auditoria de Desempenho:Por quê? Como? Para quê?

Assistência Social: Evolução de gastosEm 2008 o BPC: atendeu 2,9 milhões de beneficiários transferiu R$14,5 bilhões

Page 34: Auditoria de Desempenho:Por quê? Como? Para quê?

Estimativa do Erro de Inclusão do BPCDistribuição Acumulada de Beneficiários do BPC, Usando o Conceito de Família

GFD do IBGE, Segundo Renda Familiar per capita - 2006

Fonte: Pnad (2006)

Page 35: Auditoria de Desempenho:Por quê? Como? Para quê?

Principais Conclusões sobre a Subcobertura do BPC

1. Considerando apenas os erros de inclusão de alta intensidade– existia em 2006 uma subcobertura de 27% do público alvo– algo como 800.000 pessoas para aquele ano;

2. A oportunidade da auditoria em avaliar os controles– A expansão do BPC, para atender todo seu público alvo,

poderia significar um risco– pois algumas das deficiências possibilitavam a inclusão e a

permanência de grande contingente de pessoas não elegíveis.

Page 36: Auditoria de Desempenho:Por quê? Como? Para quê?

O sistema de controle do BPC é efetivo na detecção e na resolução de casos de erros e fraudes?

Page 37: Auditoria de Desempenho:Por quê? Como? Para quê?

Temas Averiguados pela Auditoria

1. Renda: renda mensal per capita inferior a um quarto de salário mínimo;

2. Condição de Incapacidade: incapacitadas para a vida independente e para o trabalho;

3. Impossibilidade de Acúmulo do Benefício: não pode ser acumulado pelo beneficiário com qualquer outro no âmbito da seguridade social ou de outro regime, salvo o da assistência médica;

4. Condição de Vida: benefício só deve ser concedidos a beneficiários vivos.

Page 38: Auditoria de Desempenho:Por quê? Como? Para quê?

Estimativa de Fraudes no BPC

Critério de renda

Perícia médica denegatória

Óbitos informados

Acúmulo de benefícios

Beneficiários não localizados

6,36% 4,8% 5,04% 1,5% 18,58%

Percentual de Benefícios que não atendem os critérios do programa

Há 678 mil benefícios com revisão pendente.

Fonte: REVBPC e SUB

Page 39: Auditoria de Desempenho:Por quê? Como? Para quê?

Limitações no Acompanhamento de Critérios de Elegibilidade

Critério de Elegibilidade Limitações de Acompanhamento

Renda Per Capita 1. Informalidade de 80 a 90% dos beneficiários e familiares;2. Bases de dados empregadas alcançam apenas universo de

trabalhadores formalizados.

Condição de Incapacidade 1. Forma de medir incapacidade ainda é objeto de controvérsia nos meios especializados;

2. Incapacidade para o trabalho, pode ser parcialmente averiguada não apenas por laudos periciais mais também por bases de dados similares às utilizadas para controlar critério de renda,

Impossibilidade de Acúmulo de Benefício

1. Bases de dados empregadas alcançam apenas benefícios administrados pelo INSS, para o caso dos aposentados;

2. Inexistência de convênios com quase totalidade de estados e municípios para disponibilização de dados sobre outros benefícios.

Condição de Vida 1. Dificuldade Intrínseca: muitos óbitos não são informados aos cartórios, tornando impossível sua averiguação por meio de cruzamento de dados;

2. Existem duas bases de dados relacionadas a óbitos: SISOB e SIM, sendo que apenas a primeira é utilizada para cruzamentos pelo INSS.

Page 40: Auditoria de Desempenho:Por quê? Como? Para quê?

Limitações para realização do processo de revisão universal de benefícios

Benefícios que deveriam ser revisado até

2007

BenefíciosSelecionados

para serem revisados

Benefícios não localizados não

concluídosRevisão

concluída

5,7 milhões 1,8 milhões (31%)

238 mil 1,28 milhões(22%)

Inviabilidade de Revisar Universalmente os Benefícios

Obs 1 – Os benefícios concedidos após julho/2003 não sofreram nenhuma revisão;Obs 2 - Após a primeira revisão, os benefícios não foram revisados novamente.

Page 41: Auditoria de Desempenho:Por quê? Como? Para quê?

Exemplos da Introdução de Novos Cruzamentos de Dados

Critérios de cruzamento Ocorrências

Beneficiários Com Veículos 103.961

Nº de Veículos Encontrados para Beneficiários

138.572

Uso da base do Renavam como Proxy

Tipo de Cruzamento Critérios de cruzamento

Ocorrências

CPF 16.211

Propriedade de Terra

CPF + Nome 15.393

CPF + Nome + Nome da mãe

13.750

Uso da base do Incra como Proxy

Page 42: Auditoria de Desempenho:Por quê? Como? Para quê?

Exemplos da Introdução de Novos Cruzamentos de Dados

Critérios de cruzamento Ocorrências

CPF 1.591

CPF + Nome 1.472

Uso da base de CNPJ como Proxy (beneficiários sócios de empresa)

Critérios de cruzamento Ocorrências

Total de Empregados 17.114

Deficientes empregados (Benefícios - 30 e 87)

8.320

Renda superior a R$ 650,00/mês

1.969

Servidores públicos 2.620

Uso da base da Rais como Proxy

Page 43: Auditoria de Desempenho:Por quê? Como? Para quê?

Proxy Geográfica • Proxies usadas como ferramenta de controle em

contraposição ao seu uso como critério de elegibilidade.

Intervalos de Diferença entre Renda do Setor

Censitário e Renda dos Beneficiários

Número de Beneficiários e Familiares por Intervalo de Renda per capita familiar

Percentual de Beneficiários e Familiares por Intervalo

de Renda

> 1 Salário Mínimo 618.376 13%(0,5 SM – 1 SM] 1.094.833 23%(0,25 SM – 0,5 SM] 1.283.345 27%(0 SM – 0,25 SM] 1.046.374 22%<= 0 SM 749.037 15%

Diferenças de Renda Entre Beneficiários e Renda do Setor Censitário

Fonte: Pnad

Page 44: Auditoria de Desempenho:Por quê? Como? Para quê?

Como aprimorar o acompanhamento de erros e fraudes no BPC

1. Primeiro Passo - Permitiria a montagem de sistema de marcação de benefícios que selecionaria casos com maior probabilidade de ocorrência de erros e de fraudes;

2. Segundo Passo – Entrevistas, realizadas preferencialmente por assistentes sociais, em amostra de benefícios considerados como de risco.

Cuidados Legais:É necessário regulamentar a validade jurídica do parecer efetuado pelo

assistente social sobre a avaliação social a ser realizada sobre os beneficiários marcados por avaliações prévias de risco.