Embed Size (px)
Citation preview
1 Confidencial Restrita Confidencial Uso Interno Público
Aprimoramento da Metodologia de Classificação do Resultado das Auditorias Operacionais
21/09/2016 x
2
Aprimoramentos
Motivação:
A partir de observações dos Participantes, constatamos a necessidade de aprimoramento da Metodologia de Classificação do Resultado das Auditorias Operacionais. Assim, apresentaremos os 3 aprimoramentos desenvolvidos:
1º Aprimoramento – Cálculo da média e desvio da Nota Não Padronizada por Processo somente dos Participantes que possuem o Processo.
2º Aprimoramento – Realocação de faixas quando a faixa não for factível.
3º Aprimoramento – Inclusão da maturidade do Processo na Nota Padronizada.
3
Como as notas não padronizada e padronizada das auditorias são construídas? (relembrando as definições ...)
Pontos de auditoria Matriz de pesos e
notas
Faixa I Faixa II Faixa III Faixa IV
1 ponto 2 pontos 4 pontos 8 pontos
Nota dos Participantes por
Processo
Nota por Processo e total
Padronização da nota por Processo e
total
Padronização
Cálculo da média e do desvio (4 faixas)
Distribuição das notas nas faixas
Pontuação crescente por faixa
A padronização resolve dois problemas: 1) O viés na nota total causado por Processos que têm maior número de pontos possíveis. 2) A Nota Não Padronizada sozinha não dá a ideia do que é bom. Exemplo: 10% em
determinado Processo é bom ou ruim? A resposta depende da média do mercado. Caso a média seja 3%, é ruim, e caso seja 50%, é muito bom.
𝐱 𝐱 + 𝛔 𝐱 - 𝛔
4
Nota Não Padronizada (NNP) - 2015
Processo Nota máxima
possível Nota máxima possível em %
Suitability 150 2,32%
Cadastro 588 9,08%
Executar Ordem 1.120 17,29%
Liquidar Ordem 664 10,25%
Conta Margem 285 4,40%
Custodiar Ativos 319 4,93%
Gerenciar Risco 147 2,27%
Integridade 431 6,66%
Prevenção à Lavagem de Dinheiro 987 15,24%
Agente Autônomo de Investimento 459 7,09%
Clube de Investimento 322 4,97%
Segurança das Informações 650 10,04%
Continuidade de Negócios 83 1,28%
Monitoramento e Operação da Infraestrutura de TI 90 1,39%
Gerenciamento de Mudanças 70 1,08%
Suporte à Infraestrutura 111 1,71%
TOTAL 6.476 100,00%
5
38
19
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
Clube de Investimento - 2015 Distribuição do número de Participantes por Nota Não Padronizada
𝐱 = 0,43%
𝐱 = 0,78% 𝐱 + 𝛔 = 2,17%
𝐱 + 𝛔 = 1,52%
Todos os Participantes (ATUALMENTE)
Apenas os Participantes com o Processo (APRIMORAMENTO)
Aprimoramento 1 – Cálculo da média e desvio somente com notas dos Participantes que têm o Processo
36 Participantes com o Processo
74 Participantes
Retirar do cálculo da média e do desvio padrão as NNP dos Participantes que não possuem o Processo.
6
38
30
1 1 1 1 1 1
Agente Autônomo de Investimento - 2015 Distribuição do número de Participantes por Nota Não Padronizada
𝐱 = 0,13%
𝐱 = 0,20% 𝐱 + 𝛔 = 1,08%
𝐱 + 𝛔 = 0,84%
Aprimoramento 1 – Cálculo da média e desvio somente com notas dos Participantes que têm o Processo
Todos os Participantes (ATUALMENTE)
Apenas os Participantes com o Processo (APRIMORAMENTO)
36 Participantes com o Processo
74 Participantes
Retirar do cálculo da média e do desvio padrão as NNP dos Participantes que não possuem o Processo.
7
Aprimoramento 2 – Realocação de Faixa
Atualmente
AAI - 2015
0,59 3,86 0 0
Faixa I Faixa II Faixa III Faixa IV
𝒙 𝒙 + 𝝈 𝒙 - 𝝈
8
Aprimoramento 2 – Realocação de Faixa
Atualmente
AAI - 2015
0,59 3,86 0 0
Faixa I Faixa II Faixa III Faixa IV
𝒙 𝒙 + 𝝈 𝒙 - 𝝈
Conforme Matriz de Pesos e Notas, o mínimo ponto positivo possível em AAI é 0,79
9
Aprimoramento 2 – Realocação de Faixa
Atualmente
AAI - 2015
0,59 3,86 0 0
Faixa I Faixa II Faixa III Faixa IV
𝒙 𝒙 + 𝝈 𝒙 - 𝝈
Conforme Matriz de Pesos e Notas, o mínimo ponto positivo possível em AAI é 0,79
Faixa inabitável
10
Aprimoramento 2 – Realocação de Faixa
Atualmente
AAI - 2015
0,59 3,86 0 0
Faixa I Faixa II Faixa III Faixa IV
𝒙 𝒙 + 𝝈 𝒙 - 𝝈
Conforme Matriz de Pesos e Notas, o mínimo ponto positivo possível em AAI é 0,79
Faixa inabitável
AAI - 2015
3,86 0 0
Faixa I Faixa II Faixa III
𝐱 𝐱 + 𝛔 𝐱 - 𝛔
Aprimoramento
Quando a faixa for inabitável, haverá realocação das faixas subsequentes para faixas melhores.
11
Aprimoramento 2 – Exemplos de Realocação de Faixa
Faixa I Faixa II Faixa II Faixa III Faixa III Faixa IV
𝐱 𝐱 + 𝛔 𝐱 - 𝛔
Faixa I Faixa II Faixa III
𝐱 𝐱 + 𝛔 𝐱 - 𝛔
Situação 1
Situação 3
Faixa II Faixa IV
Faixa I Faixa II Faixa III
𝐱 𝐱 + 𝛔 𝐱 - 𝛔
Situação 2
Faixa III Faixa IV
Faixa inabitável
Faixa inabitável
Faixa inabitável Faixa inabitável
12
Aprimoramento 3 – Inclusão da maturidade do Processo na Nota Padronizada
AAI
PLD
4% dos Participantes
Máx: 5,19% Mín: 0,86%
IV - 8 pontos III - 4 pontos
Há Processos em diferentes graus de maturidade e a Nota Padronizada não considera isso. No exemplo abaixo com dados de 2015, notas na faixa 4 em Processos maduro e imaturo têm a mesma pontuação (8 pontos).
Máx: 0,37% Mín: 0,17%
Máx: 0% Mín: 0%
II - 2 pontos I - 1 ponto
Máx: 61,88% Mín: 31,79%
Máx: 29,00% Mín: 18,36%
Máx: 18,23% Mín: 8,74%
Máx: 6,72% Mín: 0%
IV - 8 pontos III - 4 pontos II - 2 pontos I - 1 ponto
4% dos Participantes 92% dos Participantes 0% dos Participantes
20% dos Participantes 43% dos Participantes 26% dos Participantes 11% dos Participantes
Máx: 0,13% Mín: 0,01%
13
Aprimoramento 3 – Inclusão da maturidade do Processo na Nota Padronizada
AAI
PLD
4% dos Participantes
Máx: 5,19% Mín: 0,86%
IV - 8 pontos III - 4 pontos
Máx: 0,37% Mín: 0,17%
Máx: 0% Mín: 0%
II - 2 pontos I - 1 ponto
Máx: 61,88% Mín: 31,79%
Máx: 29,00% Mín: 18,36%
Máx: 18,23% Mín: 8,74%
Máx: 6,72% Mín: 0%
IV - 8 pontos III - 4 pontos II - 2 pontos I - 1 ponto
4% dos Participantes 92% dos Participantes 0% dos Participantes
20% dos Participantes 43% dos Participantes 26% dos Participantes 11% dos Participantes
Máx: 0,13% Mín: 0,01%
A maturidade do Processo AAI é maior que a do Processo PLD e a Nota Padronizada não reflete esse fato.
Há Processos em diferentes graus de maturidade e a Nota Padronizada não considera isso. No exemplo abaixo com dados de 2015, notas na faixa 4 em Processos maduro e imaturo têm a mesma pontuação (8 pontos).
14
Aprimoramento 3 – Redutor
𝐍𝐏𝐝𝐨 𝐏𝐫𝐨𝐜𝐞𝐬𝐬𝐨 𝐜𝐨𝐦 𝐫𝐞𝐝𝐮𝐭𝐨𝐫 = 𝐍𝐏𝐝𝐨 𝐏𝐫𝐨𝐜𝐞𝐬𝐬𝐨 ∗ 𝟏 −𝐍º 𝐏𝐚𝐫𝐭𝐢𝐜𝐢𝐩𝐚𝐧𝐭𝐞𝐬 𝐧𝐚 𝐌𝐞𝐭𝐚
𝐓𝐨𝐭𝐚𝐥 𝐏𝐚𝐫𝐭𝐢𝐜𝐢𝐩𝐚𝐧𝐭𝐞𝐬 𝐜𝐨𝐦 𝐩𝐫𝐨𝐜𝐞𝐬𝐬𝐨∗ 𝐑
A. Aplicar redutor na Nota Padronizada conforme grau de maturidade do Processo. B. Processo maduro terá redutor e Processo imaturo não terá redutor. C. O redutor é proporcional à quantidade de Participantes com Processo maduro (quanto
mais Participantes com Processo maduro, maior o redutor).
Mede o esforço comparado em relação
à média do mercado
Reconhece o esforço individual da busca pela
maturidade, mesmo na faixa 4
• R (redutor) = 0,75 • Processo maduro, quando a Nota Não Padronizada for menor ou igual a 3%
15
nota máxima: [VALOR]
0,1
4%
0,3
9%
1,1
2%
1,2
3%
1,3
2%
1,4
5%
1,6
4%
1,7
7%
1,8
2%
2,0
6%
2,1
8%
2,4
8%
2,5
7%
2,6
4%
2,8
4%
3,0
9%
3,2
0%
3,3
7%
3,4
9%
3,5
5%
3,6
7%
3,6
9%
3,8
9%
4,0
1%
4,0
6%
4,2
5%
4,4
3%
4,4
8%
4,5
4%
4,7
1%
4,7
6%
4,8
9%
5,0
0%
5,0
8%
5,2
2%
5,3
9%
5,5
0%
5,6
1%
5,7
8%
5,8
8%
5,9
8%
6,1
0%
6,2
1%
6,3
1%
6,3
7%
6,5
4%
6,7
0%
6,9
6%
7,0
9%
7,2
2%
7,3
7%
7,4
0%
7,6
2%
7,8
1%
7,8
9%
8,1
6%
8,3
2%
8,5
4%
8,8
2%
8,9
9%
9,2
7%
9,6
8%
9,8
9%
10
,09
%
10
,20
%
10
,48
%
10
,99
%
11
,40
%
12
,29
%
12
,99
%
13
,72
%
15
,31
%
18
,95
%
21
,42
%
% de Não Conformidade
Coluna Azul Escuro = Auditorias de 2015
Aprimoramento 3 – Meta de Não Conformidade
Distribuição das Notas Não Padronizadas das 293 auditorias realizadas de 2012 a 2015
20% 58 Auditorias <= 3%
80% 235 Auditorias > 3%
Meta = 3% de Não Conformidade
16
% de Participantes na meta de maturidade (menor ou igual a 3% de não conformidade em relação ao máximo possível)
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
AAI
Cadastro
Clube de Investimento
Conta Margem
Continuidade de Negócios
Custódia
Gestão de Mudanças
Integridade
Liquidação
Monitoramento deOperações
Ordens
PLD
Risco
Segurança da Informação
Suporte a Infraestrutura
Suitability
2012
2013
2014
2015
0% 100% Pior Melhor
Aprimoramento 3 – Maturidade por Processo
17
Processo (em 2015) 𝐍º 𝐏𝐚𝐫𝐭𝐢𝐜𝐢𝐩𝐚𝐧𝐭𝐞𝐬 𝐧𝐚 𝐌𝐞𝐭𝐚
𝐓𝐨𝐭𝐚𝐥 𝐏𝐚𝐫𝐭𝐢𝐜𝐢𝐩𝐚𝐧𝐭𝐞𝐬 𝐜𝐨𝐦 𝐩𝐫𝐨𝐜𝐞𝐬𝐬𝐨 * 100
Suitability 14,55%
Cadastro 65,45%
Executar Ordem 81,82%
Liquidar Ordem 81,82%
Conta Margem 83,33%
Custodiar Ativos 98,18%
Gerenciar Risco 92,73%
Integridade 50,91%
Prevenção à Lavagem de Dinheiro 1,82%
Agente Autônomo de Investimento 97,22%
Clube de Investimento 94,44%
Segurança das Informações 3,64%
Continuidade de Negócios 70,91%
Monitoramento e Operação da Infraestrutura de TI 27,27%
Gerenciamento de Mudanças 25,45%
Suporte à Infraestrutura 43,64%
Aprimoramento 3 – % de Participantes na meta de 3%
18
38
30
1 1 1 1 1 1
Agente Autônomo de Investimento - 2015 Distribuição do número de Participantes por Nota Não Padronizada
Aprimoramento 3 – Exemplo (considerando aprimoramentos 1 e 2)
Maturidade = 97,22%
3%
Atualmente Nota Padronizada (Faixa 4) = 8 pontos Atualmente Nota Padronizada (Faixa 3) = 4 pontos Aprimoramento Nota Padronizada com redutor (Faixa 4) = 8*[1-(0,9722*0,75)]= 2,17 pontos Aprimoramento Nota Padronizada com redutor (Faixa 3) = 4*[1-(0,9722*0,75)]= 1,08 pontos
𝐱 = 0,20% 𝐱 + 𝛔 = 1,08%
19
9 6 7
25
14
4 1 1 1
Prevenção à Lavagem de Dinheiro - 2015 Distribuição do número de Participantes por Nota Não Padronizada
Maturidade = 1,82%
3%
Atualmente Nota Padronizada (Faixa 1) = 1 ponto Aprimoramento Nota Padronizada com redutor (Faixa 1) = 1*[1-(0,0182*0,75)]= 0,99 pontos Demais Faixas não têm redutor
𝐱 = 18,35%
𝐱 + 𝛔 = 29,22% 𝐱 - 𝛔 = 7,48%
Eixo horizontal: notas mínima e máxima
Aprimoramento 3 – Exemplo (considerando aprimoramentos 1 e 2)
20
Aprimoramento 3 – Nota Mínima e Nota Máxima
Atualmente Aprimoramento
Menor Nota Padronizada Final possível 16 4
Maior Nota Padronizada Final possível 128 128
21
Próximos passos do aprimoramento da Metodologia de Classificação dos Resultados das Auditorias Operacionais
1. Apresentação aos Participantes (realizado)
2. Divulgação dos aprimoramentos para Consulta Pública
3. Análise das sugestões da Consulta Pública e Publicação do Relatório da Consulta Pública
4. Publicação do Comunicado Externo com a Metodologia de Classificação do Resultado das Auditorias Operacionais
A Classificação do Resultado das Auditorias Operacionais de 2016 será feita com base na metodologia aprimorada, conforme apresentação.
22
Contato
Superintendência de Auditoria de Participantes
Telefone:+55 (11) 2565-6074
E-mail: [email protected]
23
P1j 1 - - -
P2j - - 4 -
P3j - 2 - -
... ... ... ... ...
P16j - - - 8
Faixa I = 1 pto. Faixa II = 2 ptos. Faixa III = 4 ptos. Faixa IV = 8 ptos.
NOTA PADRONIZADA
𝑷𝒊𝒋𝟏𝟔𝒊=𝟏 𝑻𝒐𝒕𝒂𝒍 𝒅𝒆 𝒑𝒐𝒏𝒕𝒐𝒔 𝒅𝒐 𝑷𝒂𝒓𝒕𝒊𝒄𝒊𝒑𝒂𝒏𝒕𝒆 𝒋
Mínimo: 16 x 1 = 16 pontos
Máximo: 16 x 8 = 128 pontos
Nota Padronizada (NP)
24
Linear
Participante Faixa I Faixa II Faixa III Faixa IV Total de
Pontos (1 ponto) (2 pontos) (3 pontos) (4 pontos) A Processo 1 Processo 2 5 B Processo 1 Processo 2 5
Exponencial
Participante Faixa I Faixa II Faixa III Faixa IV Total de
Pontos (1 ponto) (2 pontos) (4 pontos) (8 pontos) A Processo 1 Processo 2 9 B Processo 1 Processo 2 6
A escolha da nota exponencial justifica-se pela nota linear não atender ao princípio da comparabilidade.
Princípios da Metodologia de Classificação do Resultado das Auditorias Operacionais
