Aprimoramento da Metodologia de Classificação do Resultado ... · Pontos de auditoria Matriz de...

1 Confidencial Restrita Confidencial Uso Interno Público

Aprimoramento da Metodologia de Classificação do Resultado das Auditorias Operacionais

21/09/2016 x

2

Aprimoramentos

Motivação:

A partir de observações dos Participantes, constatamos a necessidade de aprimoramento da Metodologia de Classificação do Resultado das Auditorias Operacionais. Assim, apresentaremos os 3 aprimoramentos desenvolvidos:

1º Aprimoramento – Cálculo da média e desvio da Nota Não Padronizada por Processo somente dos Participantes que possuem o Processo.

2º Aprimoramento – Realocação de faixas quando a faixa não for factível.

3º Aprimoramento – Inclusão da maturidade do Processo na Nota Padronizada.

3

Como as notas não padronizada e padronizada das auditorias são construídas? (relembrando as definições ...)

Pontos de auditoria Matriz de pesos e

notas

Faixa I Faixa II Faixa III Faixa IV

1 ponto 2 pontos 4 pontos 8 pontos

Nota dos Participantes por

Processo

Nota por Processo e total

Padronização da nota por Processo e

total

Padronização

Cálculo da média e do desvio (4 faixas)

Distribuição das notas nas faixas

Pontuação crescente por faixa

A padronização resolve dois problemas: 1) O viés na nota total causado por Processos que têm maior número de pontos possíveis. 2) A Nota Não Padronizada sozinha não dá a ideia do que é bom. Exemplo: 10% em

determinado Processo é bom ou ruim? A resposta depende da média do mercado. Caso a média seja 3%, é ruim, e caso seja 50%, é muito bom.

𝐱 𝐱 + 𝛔 𝐱 - 𝛔

4

Nota Não Padronizada (NNP) - 2015

Processo Nota máxima

possível Nota máxima possível em %

Suitability 150 2,32%

Cadastro 588 9,08%

Executar Ordem 1.120 17,29%

Liquidar Ordem 664 10,25%

Conta Margem 285 4,40%

Custodiar Ativos 319 4,93%

Gerenciar Risco 147 2,27%

Integridade 431 6,66%

Prevenção à Lavagem de Dinheiro 987 15,24%

Agente Autônomo de Investimento 459 7,09%

Clube de Investimento 322 4,97%

Segurança das Informações 650 10,04%

Continuidade de Negócios 83 1,28%

Monitoramento e Operação da Infraestrutura de TI 90 1,39%

Gerenciamento de Mudanças 70 1,08%

Suporte à Infraestrutura 111 1,71%

TOTAL 6.476 100,00%

5

38

19

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

Clube de Investimento - 2015 Distribuição do número de Participantes por Nota Não Padronizada

𝐱 = 0,43%

𝐱 = 0,78% 𝐱 + 𝛔 = 2,17%

𝐱 + 𝛔 = 1,52%

Todos os Participantes (ATUALMENTE)

Apenas os Participantes com o Processo (APRIMORAMENTO)

Aprimoramento 1 – Cálculo da média e desvio somente com notas dos Participantes que têm o Processo

36 Participantes com o Processo

74 Participantes

Retirar do cálculo da média e do desvio padrão as NNP dos Participantes que não possuem o Processo.

6

38

30

1 1 1 1 1 1

Agente Autônomo de Investimento - 2015 Distribuição do número de Participantes por Nota Não Padronizada

𝐱 = 0,13%

𝐱 = 0,20% 𝐱 + 𝛔 = 1,08%

𝐱 + 𝛔 = 0,84%

Aprimoramento 1 – Cálculo da média e desvio somente com notas dos Participantes que têm o Processo

Todos os Participantes (ATUALMENTE)

Apenas os Participantes com o Processo (APRIMORAMENTO)

36 Participantes com o Processo

74 Participantes

Retirar do cálculo da média e do desvio padrão as NNP dos Participantes que não possuem o Processo.

7

Aprimoramento 2 – Realocação de Faixa

Atualmente

AAI - 2015

0,59 3,86 0 0

Faixa I Faixa II Faixa III Faixa IV

𝒙 𝒙 + 𝝈 𝒙 - 𝝈

8

Aprimoramento 2 – Realocação de Faixa

Atualmente

AAI - 2015

0,59 3,86 0 0

Faixa I Faixa II Faixa III Faixa IV

𝒙 𝒙 + 𝝈 𝒙 - 𝝈

Conforme Matriz de Pesos e Notas, o mínimo ponto positivo possível em AAI é 0,79

9

Aprimoramento 2 – Realocação de Faixa

Atualmente

AAI - 2015

0,59 3,86 0 0

Faixa I Faixa II Faixa III Faixa IV

𝒙 𝒙 + 𝝈 𝒙 - 𝝈

Conforme Matriz de Pesos e Notas, o mínimo ponto positivo possível em AAI é 0,79

Faixa inabitável

10

Aprimoramento 2 – Realocação de Faixa

Atualmente

AAI - 2015

0,59 3,86 0 0

Faixa I Faixa II Faixa III Faixa IV

𝒙 𝒙 + 𝝈 𝒙 - 𝝈

Conforme Matriz de Pesos e Notas, o mínimo ponto positivo possível em AAI é 0,79

Faixa inabitável

AAI - 2015

3,86 0 0

Faixa I Faixa II Faixa III

𝐱 𝐱 + 𝛔 𝐱 - 𝛔

Aprimoramento

Quando a faixa for inabitável, haverá realocação das faixas subsequentes para faixas melhores.

11

Aprimoramento 2 – Exemplos de Realocação de Faixa

Faixa I Faixa II Faixa II Faixa III Faixa III Faixa IV

𝐱 𝐱 + 𝛔 𝐱 - 𝛔

Faixa I Faixa II Faixa III

𝐱 𝐱 + 𝛔 𝐱 - 𝛔

Situação 1

Situação 3

Faixa II Faixa IV

Faixa I Faixa II Faixa III

𝐱 𝐱 + 𝛔 𝐱 - 𝛔

Situação 2

Faixa III Faixa IV

Faixa inabitável

Faixa inabitável

Faixa inabitável Faixa inabitável

12

Aprimoramento 3 – Inclusão da maturidade do Processo na Nota Padronizada

AAI

PLD

4% dos Participantes

Máx: 5,19% Mín: 0,86%

IV - 8 pontos III - 4 pontos

Há Processos em diferentes graus de maturidade e a Nota Padronizada não considera isso. No exemplo abaixo com dados de 2015, notas na faixa 4 em Processos maduro e imaturo têm a mesma pontuação (8 pontos).

Máx: 0,37% Mín: 0,17%

Máx: 0% Mín: 0%

II - 2 pontos I - 1 ponto

Máx: 61,88% Mín: 31,79%

Máx: 29,00% Mín: 18,36%

Máx: 18,23% Mín: 8,74%

Máx: 6,72% Mín: 0%

IV - 8 pontos III - 4 pontos II - 2 pontos I - 1 ponto

4% dos Participantes 92% dos Participantes 0% dos Participantes

20% dos Participantes 43% dos Participantes 26% dos Participantes 11% dos Participantes

Máx: 0,13% Mín: 0,01%

13

Aprimoramento 3 – Inclusão da maturidade do Processo na Nota Padronizada

AAI

PLD

4% dos Participantes

Máx: 5,19% Mín: 0,86%

IV - 8 pontos III - 4 pontos

Máx: 0,37% Mín: 0,17%

Máx: 0% Mín: 0%

II - 2 pontos I - 1 ponto

Máx: 61,88% Mín: 31,79%

Máx: 29,00% Mín: 18,36%

Máx: 18,23% Mín: 8,74%

Máx: 6,72% Mín: 0%

IV - 8 pontos III - 4 pontos II - 2 pontos I - 1 ponto

4% dos Participantes 92% dos Participantes 0% dos Participantes

20% dos Participantes 43% dos Participantes 26% dos Participantes 11% dos Participantes

Máx: 0,13% Mín: 0,01%

A maturidade do Processo AAI é maior que a do Processo PLD e a Nota Padronizada não reflete esse fato.

Há Processos em diferentes graus de maturidade e a Nota Padronizada não considera isso. No exemplo abaixo com dados de 2015, notas na faixa 4 em Processos maduro e imaturo têm a mesma pontuação (8 pontos).

14

Aprimoramento 3 – Redutor

𝐍𝐏𝐝𝐨 𝐏𝐫𝐨𝐜𝐞𝐬𝐬𝐨 𝐜𝐨𝐦 𝐫𝐞𝐝𝐮𝐭𝐨𝐫 = 𝐍𝐏𝐝𝐨 𝐏𝐫𝐨𝐜𝐞𝐬𝐬𝐨 ∗ 𝟏 −𝐍º 𝐏𝐚𝐫𝐭𝐢𝐜𝐢𝐩𝐚𝐧𝐭𝐞𝐬 𝐧𝐚 𝐌𝐞𝐭𝐚

𝐓𝐨𝐭𝐚𝐥 𝐏𝐚𝐫𝐭𝐢𝐜𝐢𝐩𝐚𝐧𝐭𝐞𝐬 𝐜𝐨𝐦 𝐩𝐫𝐨𝐜𝐞𝐬𝐬𝐨∗ 𝐑

A. Aplicar redutor na Nota Padronizada conforme grau de maturidade do Processo. B. Processo maduro terá redutor e Processo imaturo não terá redutor. C. O redutor é proporcional à quantidade de Participantes com Processo maduro (quanto

mais Participantes com Processo maduro, maior o redutor).

Mede o esforço comparado em relação

à média do mercado

Reconhece o esforço individual da busca pela

maturidade, mesmo na faixa 4

• R (redutor) = 0,75 • Processo maduro, quando a Nota Não Padronizada for menor ou igual a 3%

15

nota máxima: [VALOR]

0,1

4%

0,3

9%

1,1

2%

1,2

3%

1,3

2%

1,4

5%

1,6

4%

1,7

7%

1,8

2%

2,0

6%

2,1

8%

2,4

8%

2,5

7%

2,6

4%

2,8

4%

3,0

9%

3,2

0%

3,3

7%

3,4

9%

3,5

5%

3,6

7%

3,6

9%

3,8

9%

4,0

1%

4,0

6%

4,2

5%

4,4

3%

4,4

8%

4,5

4%

4,7

1%

4,7

6%

4,8

9%

5,0

0%

5,0

8%

5,2

2%

5,3

9%

5,5

0%

5,6

1%

5,7

8%

5,8

8%

5,9

8%

6,1

0%

6,2

1%

6,3

1%

6,3

7%

6,5

4%

6,7

0%

6,9

6%

7,0

9%

7,2

2%

7,3

7%

7,4

0%

7,6

2%

7,8

1%

7,8

9%

8,1

6%

8,3

2%

8,5

4%

8,8

2%

8,9

9%

9,2

7%

9,6

8%

9,8

9%

10

,09

%

10

,20

%

10

,48

%

10

,99

%

11

,40

%

12

,29

%

12

,99

%

13

,72

%

15

,31

%

18

,95

%

21

,42

%

% de Não Conformidade

Coluna Azul Escuro = Auditorias de 2015

Aprimoramento 3 – Meta de Não Conformidade

Distribuição das Notas Não Padronizadas das 293 auditorias realizadas de 2012 a 2015

20% 58 Auditorias <= 3%

80% 235 Auditorias > 3%

Meta = 3% de Não Conformidade

16

% de Participantes na meta de maturidade (menor ou igual a 3% de não conformidade em relação ao máximo possível)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

AAI

Cadastro

Clube de Investimento

Conta Margem

Continuidade de Negócios

Custódia

Gestão de Mudanças

Integridade

Liquidação

Monitoramento deOperações

Ordens

PLD

Risco

Segurança da Informação

Suporte a Infraestrutura

Suitability

2012

2013

2014

2015

0% 100% Pior Melhor

Aprimoramento 3 – Maturidade por Processo

17

Processo (em 2015) 𝐍º 𝐏𝐚𝐫𝐭𝐢𝐜𝐢𝐩𝐚𝐧𝐭𝐞𝐬 𝐧𝐚 𝐌𝐞𝐭𝐚

𝐓𝐨𝐭𝐚𝐥 𝐏𝐚𝐫𝐭𝐢𝐜𝐢𝐩𝐚𝐧𝐭𝐞𝐬 𝐜𝐨𝐦 𝐩𝐫𝐨𝐜𝐞𝐬𝐬𝐨 * 100

Suitability 14,55%

Cadastro 65,45%

Executar Ordem 81,82%

Liquidar Ordem 81,82%

Conta Margem 83,33%

Custodiar Ativos 98,18%

Gerenciar Risco 92,73%

Integridade 50,91%

Prevenção à Lavagem de Dinheiro 1,82%

Agente Autônomo de Investimento 97,22%

Clube de Investimento 94,44%

Segurança das Informações 3,64%

Continuidade de Negócios 70,91%

Monitoramento e Operação da Infraestrutura de TI 27,27%

Gerenciamento de Mudanças 25,45%

Suporte à Infraestrutura 43,64%

Aprimoramento 3 – % de Participantes na meta de 3%

18

38

30

1 1 1 1 1 1

Agente Autônomo de Investimento - 2015 Distribuição do número de Participantes por Nota Não Padronizada

Aprimoramento 3 – Exemplo (considerando aprimoramentos 1 e 2)

Maturidade = 97,22%

3%

Atualmente Nota Padronizada (Faixa 4) = 8 pontos Atualmente Nota Padronizada (Faixa 3) = 4 pontos Aprimoramento Nota Padronizada com redutor (Faixa 4) = 8*[1-(0,9722*0,75)]= 2,17 pontos Aprimoramento Nota Padronizada com redutor (Faixa 3) = 4*[1-(0,9722*0,75)]= 1,08 pontos

𝐱 = 0,20% 𝐱 + 𝛔 = 1,08%

19

9 6 7

25

14

4 1 1 1

Prevenção à Lavagem de Dinheiro - 2015 Distribuição do número de Participantes por Nota Não Padronizada

Maturidade = 1,82%

3%

Atualmente Nota Padronizada (Faixa 1) = 1 ponto Aprimoramento Nota Padronizada com redutor (Faixa 1) = 1*[1-(0,0182*0,75)]= 0,99 pontos Demais Faixas não têm redutor

𝐱 = 18,35%

𝐱 + 𝛔 = 29,22% 𝐱 - 𝛔 = 7,48%

Eixo horizontal: notas mínima e máxima

Aprimoramento 3 – Exemplo (considerando aprimoramentos 1 e 2)

20

Aprimoramento 3 – Nota Mínima e Nota Máxima

Atualmente Aprimoramento

Menor Nota Padronizada Final possível 16 4

Maior Nota Padronizada Final possível 128 128

21

Próximos passos do aprimoramento da Metodologia de Classificação dos Resultados das Auditorias Operacionais

1. Apresentação aos Participantes (realizado)

2. Divulgação dos aprimoramentos para Consulta Pública

3. Análise das sugestões da Consulta Pública e Publicação do Relatório da Consulta Pública

4. Publicação do Comunicado Externo com a Metodologia de Classificação do Resultado das Auditorias Operacionais

A Classificação do Resultado das Auditorias Operacionais de 2016 será feita com base na metodologia aprimorada, conforme apresentação.

22

Contato

Superintendência de Auditoria de Participantes

Telefone:+55 (11) 2565-6074

E-mail: auditoria@bsm-bvmf.com.br

23

P1j 1 - - -

P2j - - 4 -

P3j - 2 - -

... ... ... ... ...

P16j - - - 8

Faixa I = 1 pto. Faixa II = 2 ptos. Faixa III = 4 ptos. Faixa IV = 8 ptos.

NOTA PADRONIZADA

𝑷𝒊𝒋𝟏𝟔𝒊=𝟏 𝑻𝒐𝒕𝒂𝒍 𝒅𝒆 𝒑𝒐𝒏𝒕𝒐𝒔 𝒅𝒐 𝑷𝒂𝒓𝒕𝒊𝒄𝒊𝒑𝒂𝒏𝒕𝒆 𝒋

Mínimo: 16 x 1 = 16 pontos

Máximo: 16 x 8 = 128 pontos

Nota Padronizada (NP)

24

Linear

Participante Faixa I Faixa II Faixa III Faixa IV Total de

Pontos (1 ponto) (2 pontos) (3 pontos) (4 pontos) A Processo 1 Processo 2 5 B Processo 1 Processo 2 5

Exponencial

Participante Faixa I Faixa II Faixa III Faixa IV Total de

Pontos (1 ponto) (2 pontos) (4 pontos) (8 pontos) A Processo 1 Processo 2 9 B Processo 1 Processo 2 6

A escolha da nota exponencial justifica-se pela nota linear não atender ao princípio da comparabilidade.

Princípios da Metodologia de Classificação do Resultado das Auditorias Operacionais