51
www.pwc.com Validação de Modelos Avançados de Risco de Crédito Estrutura da área, governança, aspectos técnicos qualitativos e quantitativos. Fevereiro 2011 Fórum ABBC

Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

  • Upload
    lyhanh

  • View
    219

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

www.pwc.com

Validação de ModelosAvançados de Risco deCrédito

Estrutura da área, governança, aspectostécnicos qualitativos e quantitativos.

Fevereiro 2011FórumABBC

Page 2: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Agenda da nossa reunião

Validação de Modelos de Risco de Crédito2

fevereiro 2011

1- Calendário Banco Central

2- O que é Validação Interna de Modelos?

3- Por que fazer Validação Interna de Modelos?

4- 6 Princípios da Validação de Modelos Internos

5-Diferentes Abordagens e Estruturas - Qual é melhor?

6- Requerimentos Qualitativos

7- Requerimentos Quantitativos

8- Visão dos Órgãos Reguladores

9- Visão da Indústria Financeira

10-Papel da Auditoria Interna x Papel da Validação Interna

Page 3: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

3PwC

Calendário BancoCentral

Page 4: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Calendário Banco Central – Comunicado 19.028

Validação de Modelos de Risco de Crédito4

fevereiro 2011

2010 2011 2012 2013

Risco de Mercado

Risco de Crédito

Risco Operacional

estabelecimento dos critériosde

elegibilidade para aimplementação da

abordagem baseada emclassificações internas para

apuração de requerimento decapital para

risco de crédito

divulgação do processo desolicitação de

autorização para uso daabordagem baseada emclassificações internas

para apuração derequerimento de capital para

risco de crédito

estabelecimento dos critérios deelegibilidade para adoção de

modelos internos de apuração derequerimento de capital para risco

operacional; e divulgação doprocesso de solicitação de

autorização para uso de modelosinternos

de apuração de requerimento decapital para risco operacional

início do processo deautorização

para uso das abordagens básicae avançada baseadas em

classificaçõesinternas para apuração de

requerimento de capital pararisco de crédito;

início doprocesso de autorização parauso de modelos internos de

apuração derequerimento de capital para

risco operacional.

Risco de Mercado já foi divulgado. Desafio é a Circular 3.478. A circularestabelece os requerimentos mínimos e os procedimentos para o cálculo, por

meio de modelos internos de risco de mercado,

Page 5: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Documentos Referência em Validação de Modelos

Validação de Modelos de Risco de Crédito5

fevereiro 2011

Guia de Validação

do Banco de EspañaAudiência Pública 37 - BACEN

Working paper 14

do BIS

Comunicado 18.365

Validação BACEN

Page 6: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

6PwC

O que é ValidaçãoInterna de Modelos?

Page 7: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

O que é Validação Interna de Modelos?

Validação de Modelos de Risco de Crédito7

fevereiro 2011

Área de Validação Interna:

1. É uma unidade especializada dentro do banco, com a necessária independência, para obter um parecertécnico sobre a adequação do modelo interno a ser utilizado para os fins previstos gestão

2. Deve identificar todos os pedidos pertinentes e concluir sobre a sua utilidade e eficácia

3. Espera-se que o processo de validação seja semelhante ao de supervisão relativamente a requerimentos devalidação de dados quantitativos e qualitativos de tratamento dos dados

4. É um pré-requisito para a validação de fiscalização, mas tem uma finalidade diferente e podem usarinformações diferentes

5. Requer o uso intensivo dos recursos da instituição, ou terceiro em algumas fases (por exemplo, paraanálise de dados e ambiente tecnológico ou relatórios de auditoria específica)

According to CEIOPS* validation is “a set of tools and processes used by the

undertaking to gain confidence over the results, design, workings and other

processes within the internal model”.

*Committee of European Insurance and Occupational Pensions Supervisors

Page 8: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

8PwC

Por que fazer ValidaçãoInterna de Modelos?

Page 9: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Por que fazer Validação Interna de Modelos?

Validação de Modelos de Risco de Crédito9

fevereiro 2011

EspecificaçãoAlgoritmos Calibração Implementação

Aplicação

• Escolha dos fatores derisco

• Especificação deprocessos estocásticos

• Complexidadeinadequada do modelo(impacto de liquidez,custos de transação,dependências, etc.)

• Erro de fórmulaanalítica

• Inconsistências entrediferentescomponentes domodelo

• Estimação de erros

• Outliers

• Horizonte temporal

• Convenções

• ProcessosManuais/Planilhas

• “Bugs”

• Erro de dados

• Instabilidades

• Erros de aproximação(precisão)

• Número insuficiente desimulações / iterações

• Tempestividade dosinputs.

• Erro de interpretaçãode requerimentosregulatórios

• Diferentes modelospara diferentes etapasdo cálculo

1- Existência de risco de modelo: tipos de Riscos do Modelo e Risco Modelagem

Page 10: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Importância da Validação Interna

Para uma adequada validação de modelos, a instituição precisa…

Uma metodologia de validação robustabaseada em abordagem pragmática

Apropriada coordenação com atividadesfeitas em UN’s e Auditoria Interna

►Modelos suportamquantificação do

Patrimônio Mínimocom ênfase nos

procedimentos destress-testing

►Requerimentosmínimos detratamento,

modelagem ecobertura de produtos

sem materialidade

►Requerimento de ummarco de validação

abrangente e rigoroso

►Requerimento devalidação

independente

►Os modelos apóiamcrescentemente

decisões importantesde negocio

►Aprimoramento dosmodelos,

acompanhando oaumento de

complexidade dosprodutos

►Validar a informaçãoutilizada na tomada de

decisões

►Melhorar oentendimento dos

modelos do negócio

►Sinergias

10fevereiro 2011

Modelos de Negócio Modelos de Alocação de Capital

Validação de Modelos de Risco de Crédito

Page 11: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

6 Princípios da Validaçãode Modelos

Page 12: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Pilares da Validação Interna de Modelos

12fevereiro 2011

Princípios gerais da validação interna, segundo Comitê de Basiléia:

1 - ) A validação interna trata essencialmente de avaliar a capacidade preditiva dasestimações de riscos realizadas pelo Banco.O processo para os sistemas de classificação de riscos devem em primeiro lugar, serem capazes de discriminar eficientementeos bons dos maus pagadores. Os parâmetros devem sempre ser feitos com as estimativas estatísticas, ser baseada naexperiência histórica que deve formar a base para a qualidade dos parâmetros IRB. Validação IRB deve abranger osprocessos de atribuição das estimativas, incluindo os procedimentos de controle e governança em um banco.

2 - ) O Banco é o principal responsável pela validação.A responsabilidade primária pela validação dos sistemas IRB fica com os bancos em si e não permanece com o supervisor.Isto certamente deve refletir o auto-interesse e da necessidade de os bancos terem um sistema de avaliação em vigorrefletindo seus negócios. Supervisores, obviamente, tem de rever a validação do banco e seus processos e também deve contarcom processos adicionais, a fim de obter o adequada nível de conforto.

3 - ) A Validação é um processo iterativo e contínuo.Desenvolver e executar modelos IRB na vida real é um processo iterativo. Validação, como uma parte importante dessecírculo, deve ser um processo contínuo, processo iterativo na seqüência de um diálogo interativo entre os bancos e seussupervisores. Isso pode resultar em um aprimoramento das ferramentas de validação utilizadas.

Validação de Modelos de Risco de Crédito

Page 13: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Pilares da Validação Interna de Modelos

13fevereiro 2011

Princípios gerais da validação interna, segundo Comitê de Basiléia:

4 - ) Não existe um único método de validação.Muitas ferramentas de validação conhecidas como backtesting, benchmarking, replicação, etc., são um complemento útilpara o objetivo global de alcançar um bom modelo IRB. Ressaltando que a execução do processo de acompanhamento daperformance do modelo via backtesting bem como a garantia de uso do modelo na gestão, são de responsabilidade dogestor/desenvolvedor do modelo. No entanto, há concordância unânime de que não existe uma ferramenta única, e quepoderia ser usado em todas as carteiras e em todos os mercados. O Banco deve encontrar as metodologias e ferramentas quesejam mais adequadas à sua realidade.

5-) A Validação deve combinar tanto elementos quantitativos como também elementosqualitativos.Validação não é um exercício técnico ou apenas matemático. A validação deve ser considerada e aplicada num sentidoabrangente, seus componentes individuais, como dados, documentação, aplicabilidade do modelo, métodos de avaliação etodos os processos subjacentes que o sistema de classificação utiliza são igualmente importantes.

6 - ) Tanto os processos de validação como seus resultados deveriam (por melhorespráticas) ser submetidos à uma revisão independente.Para os modelos IRB, deve haver uma revisão independente dentro do banco. A equipe de revisão deve ser independente dosdesenvolvedores dos modelos IRB e dos que implementam o processo de validação. Funcionaria como uma “segunda opinião”do trabalho realizado pelo time de Validação, e não uma auditoria do processo de validação.

Validação de Modelos de Risco de Crédito

Page 14: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

14PwC

Diferentes Abordagens eEstruturas - Qual émelhor?

Page 15: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Validação segundo Comitê de Basiléia

15fevereiro 2011

Fonte: Studies on Validation of Internal Rating Systems -Working Paper No. 14- (Comitê de Supervisão Bancaria de Basiléia)

Validação de Modelos de Risco de Crédito

Page 16: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Um tempestivo processo de validação dos modelos internos é um requisito para sua

aprovação, bem como sua realização por uma área de Validação Independente.

Abordagem 1

16fevereiro 2011

ValidaçãoPeriódica

Independente

Analysis ofResults

Escalationof

Results

PossibleChanges

ToolsValidation

Cycle

Analysis ofResults

Escalationof

Results

PossibleChanges

ToolsValidation

Cycle

Análise dosResultados

Divulgaçãodos

Resultados

PossíveisMudanças

Ferramentase Técnicas

Ciclo deValidação

Validação de Modelos de Risco de Crédito

Page 17: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Abordagem 2

Validação de Modelos de Risco de Crédito17

fevereiro 2011

Metodologias de Validação Independente

► Combina aspectos quantitativos e qualitativos.

► Abrange o processo completo de cálculo, considerando as entradas domodelo, o processo de cálculo e as saídas. Analisa criticamente a metodologia,as premissas e os fundamentos teóricos do modelo.

► Considera, de forma geral aspectos quantitativos e qualitativos.

► Adapta o programa de provas a seremexecutadas às especificações e acomplexidade de cada modelo.

► Aplica-se em forma parcial ou completa,dependendo da situação do modelo (emdesenvolvimento, em andamento, emaprimoramento).

Processode

validação

1- Âmbitodo modelo

2- Sistemade

Mensuração

3-Monitora-mento

4-Teste deEstress

5-AmbienteTecnológico

6-Aplicabilida

-de doModelo

ComponentesQualitativos

►Teste de Uso

►Revisões

►Adequação e capacitaçao dosrecursos

►Implantação de sistemas

►Governança

►Qualidade dos dados

►Premissas

ComponentesQuantitativos

►Inputs e parâmetros

►Réplica do modelo

►Calibração

►Benchmarking

►Backtesting

►Stress Testing

Page 18: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC 18fevereiro 2011

Abordagem 3

A validação de modelos não está exclusivamente relacionada à validaçãoquantitativa mas deve também incorporar análises qualitativasextremamente importantes.

Especificamente, o objetivo da validação é verificar se um modelo:

• Possui um propósito claro.• Utiliza metodologia apropriada ao propósito.• Reflete a prática do setor.• É adaptado ao longo do tempo em função de seus resultados.• Utiliza dados confiáveis e possui premissas apropriadas.• Produz resultados que são testados em relação à sua razoabilidade.• Possui suas limitações compreendidas.• Possui governança e controles adequados.

É escopo da área de validação de modelos avaliar/criticar:

• Governança e supervisão dos modelos (é importante que a administraçãoassuma a responsabilidade pelos modelos e não os considere “caixaspretas”).• Ambiente operacional (incluindo controles internos).• Documentação dos sistemas.• Integridade dos dados de entrada do modelo.• Premissas utilizadas pelos modelos.• Metodologia empregada.• Performance dos modelos.• Processos de reporte interno (performance e retro alimentação do modelo).• Calibração contínua (utilização dos resultados no modelo em seuaperfeiçoamento).• Constatar a integração com as atividades da instituição (“use test”).

Validação “on going”

Sistemas de

origem

Modelo:

• Metodologia

• Direcionadores epremissas

• Cálculos

Resultadosdos modelos–utilizadosna validação

Extração dedados

Mapeamento de

sistemas de origem

para avaliar a

qualidade dos dados

de entrada–acurácia e

completude dos

dados

Estrutura do

modelo e

premissas

Back-testing/

benchmarking

utilizados na

melhoria dos

modelos

Ver

ific

açã

od

op

roce

sso

Resultadosdos modelos- usuários

Validação de Modelos de Risco de Crédito

Page 19: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Abordagem 4

19fevereiro 2011

AprovaçãoIndependência

Documentação

TransparênciaNota doModelo

PROCESSO DE VALIDAÇÂO

GOVERNANÇA

Comitê Técnico de

Validação de Modelos

ValidaçãoQuantitativa

da base dedados

Finalidade

► Replicabilidadeindependente dasbases dedesenvolvimentodo modelo.

► Avaliação daconsistência,replicabilidade eintegridade dosdados usadosdurante oprocesso demodelagem

Finalidade

► Avaliar a adequação dametodologia dado anatureza dos dados, bemcomo os procedimentos detratamento dos dados.

AspectosSubjetivos

Finalidade

► Análise deaplicabilidade eadequação do modeloao negócio (modelingbest practices)

Análise daDocumentação

Técnica

Finalidade

►Verificar osprocedimentos damodelagem bem comosua documentação deforma que o processo e aconstrução do modelopossam ser replicados deterceiros.

Análise daPerformance

do modelo

Finalidade

► Mensurar acapacidadediscriminante eestabilidade domodelo

Análisemetodológicada construção

do modelo

Validação de Modelos de Risco de Crédito

Page 20: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Abordagem 5

20fevereiro 2011

A nossa abordagem será baseada em 4 dimensões de validação e foi idealizadaconforme recomendações do Bank for International Settlements ( Working papern.14), Banco de España (Dossier de Seguimiento de modelo) e Banco Central doBrasil (Comunicado 18.365) com base em 3 âmbitos de cada modelo.

DefiniçãodoModelo

FuncionamentodoModelo

Resultados eAplicaçõesdoModelo

Âmbitos de ValidaçãoDimensões de Validação

1

2

3

4

QUALITATIVO

QUANTITATIVO

TECNOLÓGICO

GOVERNANÇA

Dossier Seguimientode ModeloValidação de Modelos de Risco de Crédito

Page 21: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Na validação, serão contemplados os pontos:

21fevereiro 2011

1. DEFINIÇÃO DO MODELO

• Segmento/carteira de aplicação

• Desenho da ferramenta de classificação

• Políticas de aplicação do modelo

• Ambiente Tecnológico

• Protocolo de Comunicação

• Aprovação do modelo

2. FUNCIONAMENTO DO MODELO

• Processos de concessão

• Distribuição das exposições

• Capacidade Discriminante e Estabilidade do Modelo

• Armazenamento dos dados

• Acompanhamento e controle interno dos modelos

3. RESULTADOS E APLICAÇÕES DO MODELO

• Estimação dos parâmetros

• Back-testing

• Stress-Testing (long-run)

• Uso na gestão

Validação de Modelos de Risco de Crédito

Page 22: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Exemplos de Tópicos a serem analisados

22fevereiro 2011

Procedimentos: verificar

Atribuição e renovação de rating/score;

Políticas de exceções;

Uso efetivo do rating/score;

Usos dos outputs do modelo: concessão

pricing, capital...

Qualitativa: características e metodologias

Sensibilidade do modelo ao ciclo;

Importância do juízo do analista;

Razoabilidade dos resultados;

Âmbito de Aplicação do Modelo

(aplicabilidade do modelo)...

Tecnológica: revisão

Banco dados para desenvolver modelos

Armazenamento dos dados: ratings, ...

Ferramentas: plataforma, SAS, controles...

Banco de dados para cálculo dosparâmetros...

Quantitativa: testes estatísticos

Capacidade discriminante dos modelos;

Estimação parâmetros de risco;

Contraste capacidade preditiva;

Estabilidade das estimações;

Relevância variáveis do modelo (IV, WOE);

Análises de sensibilidade...

Validação de Modelos de Risco de Crédito

Page 23: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

23PwC

RequerimentosQualitativos

Page 24: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Qualitativos

24fevereiro 2011

Estrutura da parte Qualitativa de Validação de Modelos

1. Ambiente tecnológico, sistemas e manutenção de informação

1. Períodos cobertos pelas bases de dados de calibração (PDs, LGDs, CCFs)

2. Identificação e descrição das fontes externas utilizadas no modelo.

3. Consistência, integridade, confiabilidade das bases de dados.

4. Processos utilizados para obter as bases de dados de calibração, e as bases de capital regulatório.

5. Informação armazenada. Aplicativos e as bases de storage da informação (sistema de classificação,parâmetros estimados, etc. )

2. Aspectos Qualitativos e Governança

1. Políticas de concessão e renovação de operações. Políticas de taxas. Alçadas atribuídas.

2. Envolvimento da alta direção na aplicação do modelo.

3. Recursos humanos envolvidos em áreas relacionadas do controle e mensuração do risco.

4. Processo de concessão de operações e implicações do rating ou scoring.

5. Tratamento de aprovação por exceção.

6. Usos dos outputs do modelo (Aprovação de operações, pricing, limites, capital, etc.).

7. Reporting

8. Securitização: impactos no modelo

9. Manuais. Lista de manuais internos relacionados com o modelo.

Validação de Modelos de Risco de Crédito

Page 25: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Qualitativos

25fevereiro 2011

Estrutura da parte Qualitativa de Validação de Modelos(cont.):

3. Controles internos

1. Para garantir a consistência na concessão das operações.

2. Controles sobre os parâmetros de risco e os fatores explicativos.

4. Revisões independentes

1. Pelo departamento independente (interno ou externo).

2. Outras revisões independentes (Supervisores, Auditoria Interna, Auditoria Externa,Consultores)

5. Debilidades e desenvolvimentos futuros

1. Descrição dos pontos fracos e cronograma previsto para aperfeiçoamento.

2. Detalhe das mudanças previstas ou planos futuros.

Validação de Modelos de Risco de Crédito

Page 26: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

26PwC

RequerimentosQuantitativos

Page 27: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwCValidação de Modelos de Risco de Crédito27

fevereiro 2011PwC

3

Back-testing (PD, LGD, EAD,

PE, Grupo Econômico, segmento, etc.)

Benchmarking

Matrizes detransição

Índices de Poder

Stress-testing (modelo, PD,macroeconômicos, tendênciacentral, ciclicidade,P-I-T e T-T-C,cenários deterministicos)

Análise de Estabilidade

(bootstrapping,

out of sample,

out of time, etc…)

A validação determina a habilidade de previsão das estimações do banco e o bom usodas classificações no processos de concessão de crédito. As principais ferramentas etécnicas de validação são as seguintes:

BIS II

Processo de Validação Interna

Page 28: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Quantitativos

28fevereiro 2011

Aspectos de validação inicial:

Amostra de Desenvolvimento:

Tamanho e representattividade

Adequação ao segmento

Dados internos ou fontes externas.

PD de desensolvimento:

Definição de default: compatível comBIS II?

Point in time; Through The Cycle?

Capacidade discriminante:

CAP (Cummulative Accuracy Profile)

AR (Accuracy Ratio),

Área abaixo a curva ROC (ReceiverOperating Characteristic)

Índice de Pietra

Taxa de erro Bayesiano

Estatístico de Kolmogorov-Smirnov

Contrastes de Estabilidade:

Teste “out-of-sample”

Teste “out-of-time”

Acompanhamento periódico:

Evolução capacidade discriminante:

Cálculos de AR em diferentesmomentos do tempo;

Contraste de estabilidade.

Poder explicativo dos fatores individuais

Porcentagem da carteira classificada / semclasificar;

Comportamento do rating:

Distribuição carteira por faixas derating;

Matrizes de transição;

Validação periódica procedimentos:

Fontes e qualidade de informação paraatribuição rating / scoring

Resolução de incidencias no uso dorating / scoring;

Uso efetivo na admissão eacompanhamento;

Formação de usuários do sistema derating;

Aplicação homogênea dentro do Banc0

Validação de Modelos de Risco de Crédito

Page 29: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Quantitativos

29fevereiro 2011

Estimação de PD: intimamente relacionada com sistema de rating/scoring

A PD não é o único parâmetro relevante. É necessário também estimar:

LGD (perda dado a inadimplência) e

EAD (exposição em caso de default).

CALIBRAÇÃO: estimação dos parâmetros de risco.

É usada para estimação da PD, atribuindo uma PD para cada valor defaixa de rating/score.

“Comparados com os métodos para avaliar o poder discriminante dasferramentas de rating, os métodos de validação da calibração se encontramem fase inicial” (Working Paper Nº 14 do Comitê de Basiléia)

Validação de parâmetros: PD

Validação de Modelos de Risco de Crédito

Page 30: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Quantitativos

30fevereiro 2011

Métodos de Estimação:

Baseada em dadoshistóricos

Modelos explicativos

Fontes externas

Dinâmica das PD:

Estimações Point In Timeou Through The Cycle

Estabilidade das estimações

Faixas de PD:

Usados na estimação: Pool(uniforme ou normal)

Empregados para cálculosfinais (Função contínua ouPooled PD).

Validação de parâmetros: PD

Validação de Modelos de Risco de Crédito

Backtesting:

Comparação previstos e dados reais(considera ciclo)

Teste Binomial

Teste de CHI Quadrado

Teste Normal.

Teste de Hosmer-Lemeshow

Prova do Ponto de Âncora

Teste da distribuição binomial

Análise do índice de estabilidadepopulacional (IEP) das faixas declassificação

Teste de hipóteses via simulação deMonte Carlo

Verossimilhança da probabilidade damédia geométrica (GMP)

Page 31: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Quantitativos

31fevereiro 2011

Métodos de Estimação:

Workout LGD: experiência de cobrança

Market LGD: valor de mercado do colateral

Implied Market LGD: preços papéis no default

Definição de default:

Relação com a definição usada para estimar PD.

Conversão da LGD compatível com a definição de default BIS II.

Cálculo de probabilidades condicionadas.

Premissas de cálculo:

Tipo de desconto utilizado no Workout LGD.

LGD negativas ou maiores de 100%. Opção de dados censurados.

Considerações de custos, diretos e indiretos.

LGD em funcão de: colaterais; tipo de produto; Loan To Value etc.

Prazo do processo de cobrança.

Validação de parâmetros: LGD

Validação de Modelos de Risco de Crédito

Page 32: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Quantitativos

32fevereiro 2011

Estimação do Down Turn LGD:

Média dos piores anos observados

Média dos piores anos do ciclo

Percentis dos dados da amostra

BACKTESTING

BENCHMARKING

STRESS TESTING

também aplicáveis à LGD,menos do que na PD

Validação de parâmetros: LGD

Validação de Modelos de Risco de Crédito

Page 33: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Quantitativos

33fevereiro 2011

Validação de parâmetros: LGD

Validação de Modelos de Risco de Crédito

Direcionadores:

Garantia real líquida

Garantia real ilíquida

Natureza do produto

Abordagem:

Abordagem aplicado à (1)LGD c/ garantia e haircuts, (2) LGD semgarantia

Tipo de garantia

Tempo de Workout

Cálculo de médias para LGD observados e haircuts para váriossegmentos

Checar se os valores estimados estão em linha com valoresobservados

Page 34: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Quantitativos

34fevereiro 2011

Validação de parâmetros: LGD

Validação de Modelos de Risco de Crédito

Com garantia:

Sem garantia:

Calcular LGD média, erro médio e haircut médio observado (por segmento/porproduto/por contraparte)

Os LGDs estimados estão dentro do intervalo esperado/observado?

Page 35: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Requerimentos Quantitativos

35fevereiro 2011

Estimação e Validação de parâmetros: EAD

Validação de Modelos de Risco de Crédito

Direcionadores:

Tipo de produto

Maturity

Abordagem:

Parecido com ODF para as PDs

Para cada transação i inadimplente dentro de um período, calcular

Calcular por segmentos da carteira

A média dos lambdas observados

O erro

Checar se os valores estimados estão em linha com valoresobservados

Page 36: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Visão do órgãosreguladores

Page 37: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Visão do órgãos reguladores

37fevereiro2011

Problemas Encontrados pelo BACEN em validação prévia realizada em 2009 e 2010:

Bacen sinalizou que:

• A auditoria interna também tem papel relevante na autorização demodelos internos.

• Deverá realizar uma avaliação por ano, no mínimo, do gerenciamentode risco.

• Na candidatura deverão ser entregues relatórios produzidos pelosdois processos (validação e auditoria interna).

• Diferença das atribuições:

• Validação: análise crítica, necessária na implementação do modeloe a cada alteração relevante (mínimo a cada 3 anos);

• Auditoria Interna: verificação (anual) do uso dos processosrelacionados aos modelos internos.

• Processo de validação e avaliação pela auditoria devem serindependentes entre si.

Validação de Modelos de Risco de Crédito

Page 38: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Visão do órgãos reguladores

38fevereiro 2011

Problemas Encontrados pelo BACEN em validação prévia realizada em 2009 e 2010:

Risco de Crédito

Alguns problemas encontrados:

1. Sistemas de rating sem aderência a Basiléia II;

2. Bases de dados em processo de recuperação;

3. Modelagem dos parâmetros de risco e definição de pools desvinculados da gestão;

4. Estrutura e processos de validação incompatíveis com os requerimentos de Basiléia II;

5. Necessidade de aprimoramentos nos modelos de risco, principalmente no segmento de Atacado;

6. Processos de modelagem de PD, LGD e EAD ainda em estudo.

Validação de Modelos de Risco de Crédito

Page 39: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Posicionamento dos ReguladoresComparação

39fevereiro 2011

(1) Peculiaridades Locais

PaísesProcesso

SupervisorDesenvo.normativo

Posiçãofrente PL (1) Comentários

EstadosUnidos - - +

• Atraso na data deentrada do Acordode BISII (2008).

• O FED temobjeções emrelação a BIS II.

• Dodd-Frank ereforma dosistema financeiroé mais importante.

+ Maiores avanços

~ Estáveis

- Atrasados

PaísesProcesso

SupervisorDesenvo.normativo

Posiçãofrente PL (1) Comentários

InglaterraAlemanhaEspanha

+ + +• Já estão avançados

no processo devalidação demodelos IRB.

FrançaItalia - - +

• Ainda não posuemum procedimentopadrão emitido porseus órgãosreguladores

PaísesProcesso

SupervisorDesenvo.normativo

Posiçãofrente PL(1) Comentários

ColombiaChile

ArgentinaBrasil

México

BACEN colocouem Audiência

Pública até o dia18/maio/2011,

requisitosmínimos parautilização de

sistemas internosde classificação

de risco decrédito no cálculoda parcela Pepr

~ -• Iniciativas para incentivar BIS

II, avançadas noColombia,Chile, Brasil eMéxico, pobres na Argentina.

Demais - - -

• Normas de caráter deimplantar cultura de riscos nasinstituições financeiras, massem afetar o balanço destasinstituições.

Validação de Modelos de Risco de Crédito

Page 40: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Comparação Órgãos Reguladores

40fevereiro 2011

Os reguladores europeus estão menos envolvidos em cumprir o Pilar II

FSA(INGLATERRA)

O FSA estabeleceu várias datas para candidatura de modelos avançados. Existe uma grande interação entre as IF e o FSA, de forma que foram criadas diversas

maneiras de trocar conhecimento como visitas temáticas , Advisory Groups e ExpertGroups.

FSA está pensando nos impactos de Basiléia III.

Bundesbank(ALEMANHA)

O Bundesbank diferenciou-se do Banco de España requerendo o cálculo de capital diário.Foi o primeiro banco a validar modelos, cujos modelos AIRB para o varejo entraram emvigor em 2007.

• Banco de Italia não realizou processo de aplicação aos modelos nos moldes do Banco deEspanha, mas enviou uma carta aos principais bancos, solicitando a validação de modelosinternos.

• O órgão regulador italiano é o menos exigente de todos os congêneres europeus.

Banco de Italia(ITALIA)

Banque de France(FRANÇA)

Ainda não formalizou um processo de Validação Interna padrão, deixando com que as IFsdecidam como realizar o processo de validação.

Pretende em breve, padronizar e intensificar as revisões de validação de modelos.

Validação de Modelos de Risco de Crédito

Page 41: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Comparação Órgãos Reguladores

41fevereiro 2011

Nos Estados Unidos, BISII serve apenas para os 20 maiores bancos:

FED(ESTADOS UNIDOS)

O FED postergou a data de entrada em vigor do Acordo de BIS II para 2008 e só exigiu ocumprimento do acordo para os 20 maiores bancos.

O regulador americano era um dos mais céticos em relação à BIS II, mas reconheceu aimportância do mesmo, principalmente após a crise do sub-prime.

A Lei Dodd-Frank está como foco de atenção, sendo um tema muito mais relevante nomomento que BIS II. O objetivo central da nova legislação é reduzir o risco assumidopelas instituições financeiras, em especial os bancos, e diminuir os conflitos de interesseentre essas e seus clientes e contrapartes. No seu conjunto, as novas regulações reduzirãoa lucratividade dos bancos - Goldman Sachs estima uma queda de 12% apenas por contada Lei Dodd-Frank.

Validação de Modelos de Risco de Crédito

Page 42: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Comparação Órgãos Reguladores

42fevereiro 2011

Banco Central daARGENTINA

Iniciativas incipientes por parte das autoridades para incentivar Basiléia II. Como tarefade curto prazo, planeja incentivar a criação de consórcio para que os bancos possamcompartilhar informações a fim de melhorar a profundidade histórica dos dados.

Bancos Central daCOLOMBIA e do

CHILE

Colombia: Emissão em 2002(Circular 011) da normativa de estimação de perdasesperadas com impacto no balanço que foi implantada em 18 meses. Em função da faltade capacidade técnica e equipes, o Banco Central da Colombia adiou o início dos processosde validação de modelos.

Chile: Emissão em 2006 (Circular 3.189-1.460) da normativa de avaliação interna dacarteira de crédito no qual se determinam percentuais de provisão com base nas PDs.

Os reguladores latino-americanos em geral ainda estão atrasados em relação aos bancoscentrais europeus.

O mercado está pressionando o Banco Central para adiantar os pronunciamento sobreiniciativas de validação de modelos. O regulador conhece a gestão interna dos grandesbancos, médios e pequenos e está buscando mecanismos para deixar homogêneo as regrasinternas de validação e regulamentação entre todos os participantes do mercado, de formaa evitar competição desigual. No Brasil até 2012 talvez não se inicie o processo devalidação de modelos internos. O calendário do Comunicado 19.028 já está atrasado.

Bancos Central doMÉXICO e do

BRASIL

Demais

Normativas emitidas de carácter subjetivo que apontam simplesmente para a criação dacultura de riscos dentro das IFs, sem impacto de capital no balanço. Criação das área decontrole de riscos, desenvolvimento de manuais de políticas e procedimentos de riscos decrédito, etc.

Validação de Modelos de Risco de Crédito

Page 43: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Visão da IndústriaFinanceira

Page 44: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Visão da Indústria Financeira

44fevereiro 2011

• O método baseado na classificação interna do IRB é claramente o método preferido de regulamentação. Desde2002, as instituições estão fazendo grandes esforços para se adaptar ao novo quadro, no entanto, há muitotrabalho pela frente para atender todos os requerimentos para adotar a abordagem avançada, especialmente apartir da perspectiva de dados e sistemas.

• Nesse sentido, no nível da indústria financeira global apenas instituições de médio ou grande porte sãoconsideradas em uma boa posição a adotar essa abordagem.

• Em qualquer caso, a maioria espera implementar a abordagem IRB avançada no futuro.

Validação de Modelos de Risco de Crédito

Page 45: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Situação da Indústria

45fevereiro 2011

Instituições FinanceirasGlobais(bancos lideres de mercado,presentes em todos os negóciose vários países)

Cultura de riscos bem enraizada (interesse da Alta Gestão).

Praticamente todos os segmentos migram para modelos avançados,entretanto existem preocupações com base de dados por diferentes motivos(integração de um grande números de instituições, fusões, etc).

Necessidade de muitos modelos (âmbito geográfico/segmentos).

Instituições FinanceirasGrandes(bancos com alta presença nomercado de bancomultiplo/comercial e fortemarket share no varejo.

Adaptação aos modelos avançados (desenvolvimento base de dados) econtratação de especialistas (mercado de trabalho aquecido para osprofissionais de gestão de riscos)

Iniciam a validação de modelos internos.

Modelos de Capital Econômico e RAROC já sendo usados para decisõescomerciais.

Instituições Financeirasmédias e pequenas(bancos locais e bancosespecializados em determinadossegmentos de clientes/nichos)

Preocupação com custos de implantação dos modelos avançados

Falta de investimento em infraestrutura. Alguns bancos ainda não atenderamas normas em vigor (Resolução 3.721) de forma plena.

Possibilidade de aproveitamento de modelos e dados compartilhados combureau de crédito (“pooled data”).

+

-Niv

eld

ea

da

pta

ção

ea

va

nço

do

sm

od

elo

se

va

lid

açã

oin

tern

a

Validação de Modelos de Risco de Crédito

Page 46: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Papel da AuditoriaInterna e Papel daValidação Interna

Page 47: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Segregação de Papeis – Validação Interna xAuditoria Interna

47fevereiro 2011Validação de Modelos de Risco de Crédito

Auditoria Interna

Papel

► Avalia o processo de validação

► Realiza avaliação periódica,anualmente;

► Na candidatura deverão serentregues relatórios produzidospelos dois processos (validaçãoe auditoria interna).

Validação Interna

Papel : Avaliar modelos e sistemas,com vista a comprovar suaadequação ao perfil de risco atual,abrangência e consistência

► Análise crítica dos modelos;

► Necessária à implantação domodelo;

► Realiza avaliação a cada alteraçãorelevante (mínimo a cada 3 anos),com exceção dos itens mencionadono Art. 154;

► Independente da AI e da área demodelagem, e de uso dos modelos

Page 48: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Segregação de Papeis – Validação InternaAudiência Pública 37 – Art 150 ao Art. 155

48fevereiro 2011Validação de Modelos de Risco de Crédito

Page 49: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Segregação de Papeis – Validação InternaAudiência Pública 37 – Art 150 ao Art. 155

49fevereiro 2011Validação de Modelos de Risco de Crédito

Ponto interessante:

Garantir Teste de Uso épapel da ValidaçãoInterna, e não daAuditoria Interna

Page 50: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC 50fevereiro 2011Validação de Modelos de Risco de Crédito

Segregação de Papeis – Auditoria InternaAudiência Pública 37 - Artigo 157

Ponto interessante:

Auditoria Interna avaliao processo de ValidaçãoInterna

Page 51: Validação de Modelos Avançados de Risco de Créditoportalabbc.org.br/arquivos/validacao_interna_de_modelo_abbc_pwc... · 2- O que é Validação Interna de Modelos? ... completude

PwC

Nossos contatos

Marcus ManducaSócio

[email protected] 3674-2673

51

Advisory – Financial Risk Management

Luciano TozatoGerente Sênior

[email protected] 3674-2674

© 2011 PricewaterhouseCoopers. All rights reserved. “PricewaterhouseCoopers” refersto the network of member firms of PricewaterhouseCoopers International Limited, eachof which is a separate and independent legal entity.