9

Click here to load reader

IV_IEP_KS

Embed Size (px)

DESCRIPTION

Stability tests

Citation preview

  • Projeto

    Supervisionado

    Caio Almasan de Moura ra: 095620

  • Indice

    1. Introduo

    2. Principal Projeto: Modelo de Score 2.1. Objetivo.................................................................. pg 3

    2.2. Agentes Envolvidos................................................. pg 3

    2.3. Contextualizao.................................................... pg 3

    2.4. Conceitos................................................................ pg 4

    2.5. Cronograma............................................................ pg 5

    3. Escopo para Modelagem

    3.1. Linhas de Crditos Consideradas............................. pg 5

    3.2. Poder Preditivo do Modelo....................................... pg 5

    4. Anlise Univariada....................................................... pg 6

    5. Anlise Bivariada......................................................... pg 6

    6. Anlise Multivariada

    6.1. O que Anlise multivariada?................................. pg 6

    6.2. Regresso Logstica................................................. pg 7

    7. Validao de modelo

    7.1. O teste de K-S para duas amostras.......................... pg 7

    7.2. O teste do risco relativo.......................................... pg 7

    8. Estabilidade do modelo final

    8.1. ndice de Estabilidade Populacional........................ pg 8

    8.2. Teste KS1................................................................ pg 8

    9. Consluso ................................................................... pg 8

  • 1. Introduo

    Estgio em Modelagem de Risco de Crdito

    Intituio: Banco Panamericano

    Cargo horria: 18 horas semanais ( 6 horas por dia, 3 dias por semana)

    Principais atividades: Anlise de bases no EXCEL e SPSS. calculo de indces

    (FPD, FPD2, M3OVER30, PDD entre outros), manuteno dos modelos de

    crdito para todos os produtos (Veculos, Crdito Pessoal, Crdito

    Imobilirio, Consrcio, CDC), frequente acompanhamento das noticias

    macroenomicas que influncia diretamente na linha de crdito.

    2. Principal Projeto: Modelo de Score

    2.1. Objetivo

    Descrever o procedimento de desenvolvimento do modelo de

    concesso de crdito para pessoa fsica na linha de crdito motos do

    Banco Panamericano.

    2.2. Agentes Envolvidos

    rea de Gerncia Executiva de Modelagem do Banco Panamericano.

    2.3. Contextualizao

    O modelo desenvolvido tem a finalidade de estimar a probabilidade de

    inadimplncia nas operaes de concesso para pessoa fsica, utilizando

    horizonte de 9 meses com marcao de atraso no final do perodo.

    Este relatrio fornece detalhes do desenvolvimento, das anlises e dos

    resultados obtidos.

  • Na primeira etapa do projeto foram definidas as necessidades e os

    objetivos do projeto. O segundo passo caracterizado pela anlise do

    conceito, construo das variveis, consolidao das bases, definio da

    tcnica a ser utilizada e estimao dos modelos. Para esses modelos a

    tcnica utilizada foi regresso logstica.

    O relatrio est organizado da seguinte forma:

    2.4. Conceitos

    Com o objetivo de definir o conceito de inadimplncia que seria utilizado

    na modelagem, foram comparadas as taxas de inadimplncia geradas por

    vrios cenrios: M6OVER60, M6OVER90, M9OVER60 e M9OVER90.

    Para maior entendimento, segue abaixo definies e conceitos que sero

    usados durante a anlise:

    -Out-of-time: Amostra de safras com perodo posterior ao usado para o

    desenvolvimento e validao do modelo.

    -Out-of-sample: Amostra de uma safra atual.

    -KS (Kolmogorov-Smirnov): Estatstica usada para a comparao de

    distribuio entre duas amostras.

    -Coeficiente de ROC: Estatstica que analisa a capacidade preditiva de um

    modelo de classificao, baseado nas distribuies acumuladas de bons e

    maus, para cada faixa de escore.

    -Gini: Estatstica calculada com base no coeficiente de ROC que analisa a

    capacidade preditiva de um modelo de classificao.

    -PSI (Population Stability Index): Estatstica usada para verificar possveis

    distores no perfil da populao em relao base de referncia.

    baseada na proporo de indivduos em cada categoria.

    -KS1: Estatstica tambm usada para verificar possveis distores no perfil

    da populao em relao base de referncia. baseada na distribuio

    acumulada de ambas as populaes.

    Escore: Pontuao atribuda pelo modelo de crdito conforme o perfil do

    cliente e da proposta.

    2.5. Cronograma

    Entrega da base de dados: 09/04/2011

  • Entrega da base com marcao de atraso de mercado, com conceito

    de Bancos/Financeiras, feito pela SERASA Experian: 02/05/2011

    Entrega dos resultados do desenvolvimento do modelo: 25/05/2011

    Entrega da documentao contendo as tcnicas e procedimentos

    utilizados nas fases de desenvolvimento, teste e validao do

    modelo: 31/05/2011

    Implantao do modelo: a ser definido.

    3. Escopo para a Modelagem

    3.1. Linhas de Crdito consideradas

    A linha de crdito considerada para desenvolvimento do modelo foi

    veculos motos, exceto produtos de transferncia de dvida, leasing e para

    pessoa jurdica.

    3.2. Poder preditivo do modelo

    Os ndices utilizados para avaliar o poder preditivo do modelo foram

    KS2, Coeficiente de ROC, Coeficiente de Gini, PSI e KS1.

    4. Anlise Univariada

    O que a anlise univariada?

    Utilizamos a anlise univariada para estudar a distribuio de

    frequncia de cada varivel separadamente. A partir desta podemos

    identificar valores inconsistentes, missings, outliers, investigar sua origem e

    decidir como trat-los de modo que no comprometam a validade e

    adequabilidade dos modelos estatsticos.

    5. Anlise Bivariada

  • O que a anlise bivariada?

    O interesse maior na anlise bivariada analisar a relao entre duas

    variveis, ou seja, a relao da varivel preditora com a varivel status

    que caracteriza o cliente.

    Os objetivos dessa anlise so:

    Analisar o potencial discriminador de uma varivel preditora;

    Analisar e refinar a categorizao das variveis;

    Identificar comportamentos estranhos ou inesperados de uma

    varivel;

    Identificar correlaes entre as variveis preditoras.

    6. Anlise Multivariada

    6.1. O que a anlise multivariada?

    Conjunto de mtodos que permite anlise simultnea de duas ou mais

    variveis, levando em considerao as correlaes existentes, que

    permitem inferncias sobre o conjunto de variveis em um nvel de

    significncia conhecido.

    6.2. Regresso logstica

    A tcnica utilizada no desenvolvimento dos modelos foi regresso

    logstica. Alm de apresentar um custo computacional razoavelmente baixo,

    seus parmetros so facilmente interpretveis. Esse mtodo consiste em

    estimar a probabilidade atravs da combinao linear das caractersticas

    preditivas.

    7. Validao do Modelo

    7.1. O teste de K-S para duas amostras

  • O KS uma das medidas de avaliao de performance mais utilizadas no

    mercado e mede a capacidade do escore de distinguir os bons e maus

    pagadores. Quanto maior for a estatstica de KS, maior ser a separao

    entre os clientes bons e maus. O valor encontrado a mxima diferena

    entre as distribuies acumuladas de bons e maus.

    7.2. O teste do risco relativo

    O risco relativo uma medida de chance dentro de cada classe.

    Representa o quociente entre a proporo de bons e a proporo de maus

    na categoria. uma medida ponderada pelo total em relao ao status do

    cliente (bom/mau).

    Quanto maior for o risco relativo, maior ser a chance de encontrar

    clientes bons em relao aos clientes maus dentro de cada classe.

    8. Estabilidade do Modelo Final

    8.1. ndice de Estabilidade Populacional

    O EP/PSI utilizado para comparar as distribuies de variveis

    categorizadas.

    O clculo feito atravs da frmula seguinte:

    i

    i

    iim

    rmrIEP ln

    Na qual ri a proporo de indivduos da categoria i da amostra de

    referncia e mi a proporo de indivduos da categoria i da amostra

    de monitoramento.

    8.2. Teste KS1

  • O KS1 compara distribuies de entrada de propostas observadas no

    desenvolvimento com a entrada de propostas obtidas em safras mais

    recentes, ou seja, a mxima diferena entre as distribuies acumuladas

    da base de desenvolvimento e da base mensal de monitoramento.

    O clculo feito atravs da frmula seguinte:

    | | (8.2.1)

    Em que Fr a distribuio acumulada da amostra de referncia

    (desenvolvimento) e Fm a distribuio acumulada da amostra mensal de

    monitoramento.

    9. Concluso

    Baseados em estudos macroeconmicos, estticos, anlise de perfis e com

    histrico de nossas bases internas, criamos um novo Modelo de Score que

    j est implantado em nosso sistema. Apesar de estar em vigor h pouco

    tempo (um ms), alguns estudos j indicam a reduo da zona cinzenta e

    uma melhor distribuio e performance entre os Bons e os Maus clientes. A

    estimativa que, em 6 meses, nossos ndices de inadimplncia sejam

    reduzidos em at 30%, sem afetar a produtividade do banco, ou at com

    possvel aumento da produo.