SEGMENTAÇÃO DE GRANDES BASES DE DADOS - ufmt.br · q Horizonte de Previsão: intervalo de tempo entre a entrada na base e a observação do desempenho do mesmo, ou seja, classificação

Slide: 1 © 2017 Francisco Louzada

SEGMENTAÇÃO DE GRANDES BASES DE DADOS: UMA APLICAÇÃO EM PREVISÃO DE RISCO DE CRÉDITO

Francisco Louzada ICMC-USP

Meeting International Committee pg 1 São Carlos, Brazil 24 November 2015

V ESAMP 16-20/10/2017, Cuiabá, Brasil


OUTLINE

Ø  CONTEXTUALIZAÇÃO

CICLO DE VIDA DO CLIENTE E A METODOLOGIA ESTATÍSTICA

Ø  GESTÃO DA INFORMAÇÃO VIA MODELAGEM ESTATÍSTICA

Ø  SEGMENTAÇÃO DA BASE

Ø  INDUÇÃO/DEDUÇÃO

Ø  POTENCIAL

Ø  MODELAGEM DE PROPENSÃO PONTUAL


IDÉIAS INICIAIS

Ø  IMPORTANTE:

§ Como utilizar a informação contida nos dados para maximizar o resultado do negócio?

§ Como inserir a Informação em um

processo de decisão relacionado a alguma etapa do ciclo de vida do cliente?


IDÉIAS INICIAIS

Ø CLIENTE TEM VIDA, É COMO UM FILHO !!! § Ele é desejado § Planejado § Concebido § Nasce § Tem infância § Cresce § Torna-se Adulto § Envelhece § Falece...


Etapas do ciclo de vida do cliente

Ø Prospecção

Ø  Aquisição Ø  Ativação

Ø  Retenção Ø  Re-ativação


PRO

SPEC

ÇÃ

O

AQ

UIS

IÇÃ

O

DEFICITÁRIO

CICLO DE VIDA DO CLIENTE

Tempo Base

ATIVAÇÃO RETENÇÃO

RENTABILIZAÇÃO / FIDELIZAÇÃO

RE-ATIVAÇÃO

DEFICITÁRIO


RISCO DE CHURNING DENTRO DO CICLO DE VIDA DO CLIENTE

Tempo Base

Momentos diferentes


EFEITO DO CICLO DE VIDA NA MODELAGEM ESTATÍSTICA

Para cada uma das etapa

do ciclo de vida do

cliente

Devem ser relacionadas e

descritas diferentes

Técnicas de Modelagem

que serão consideradas


G

ESTÃ

O D

O

CLI

ENTE

RE-AQUISIÇÃO/ COBRANÇA

Ø  Análise da propensão a re-aquisição

Ø Definição de políticas de cobrança

SALVAMENTO

RETENÇÃO

Ø Análise de risco/comportamento Ø Cross-sales / Up-sales Ø Precificação Ø Segmentação Ø CRM

AQUISIÇÃO

Ø Análise de crédito

Ø Definição de Limite

Ø Oferta de Produtos

PROSPECÇÃO

Ø Segmentação de mercado Ø Pré-seleção de prospects:

Ø  Risco / Resposta / Perfil

GESTÃO DA INFORMAÇÃO VIA MODELAGEM ESTATÍSTICA OPORTUNIDADES


PROCEDIMENTO INICIAL DE MODELAGEM

INFORMAÇÃO

7,5 Milhões de Clientes • Var. Cadastrais • Var. Negócio

DB VISÃO

MARKETING CORPORATIVO

CONHECIMENTO

•  Aumentar conhecimento sobre o Cliente • Entender comportamento • Antecipar oportunidades • Descobrir Prospects

NECESSIDADE DE

SEGMENTAÇÃO

BASEADA EM VARIÁVEIS GENÉRICAS


q  SEGMENTAÇÃO DEMOGRÁFICA 1

2

3

q  SEGMENTAÇÃO GEOGRÁFICA

q  SEGMENTAÇÃO POR BENEFÍCIO

q SEGMENTAÇÃO POR OCASIÃO

q SEGMENTAÇÃO POR NÍVEL DE UTILIZAÇÃO DE UM PRODUTO

q SEGMENTAÇÃO POR ESTILO DE VIDA

TIPOS USUAIS DE SEGMENTAÇÃO

q SEGMENTAÇÃO HOLÍSTICA

4

5

6

7


OS ANALISTAS DE DADOS TÊM CONHECIMENTO SUBJETIVO SOBRE OS CLIENTES.

TAL CONHECIMENTO PODE SER UTILIZADO PARA SEGMENTAR A BASE.

QUESTÃO

MOTIVAÇÃO PARA A BUSCA DE UM OUTRO PROCEDIMENTO


CONSEQUÊNCIA: PROCEDIMENTO INICIAL DE MODELAGEM

INFORMAÇÃO

7,5 Milhões de Clientes • Var. Cadastrais • Var. Negócio

DB VISÃO

MARKETING CORPORATIVO

CONHECIMENTO

•  Aumentar conhecimento sobre o Cliente • Entender comportamento • Antecipar oportunidades • Descobrir Prospects

SEGMENTAÇÃO INDUZIDA

BASE •  Visão do Marketing

CRIAÇÃO DO TIPO DO CLIENTE

BASE •  VALOR DO CLIENTE


SEGMENTAÇÃO DA BASE

A segmentação do DB será baseada na construção do insight sobre potenciais clusters (cliente ou prospect) formado a partir de 3 pilares de Percepções:

Percepção Deduzida

BASE: Tempo de base ou Value Contribution Score Composição do Score de Valor do Cliente

Percepção do Potencial dos

Clientes e Prospectors

BASE: Cadastro do Cliente Renda domiciliar Padrão de gastos Renda disponível para consumir serviços

Registro das ações de compra - Visão do consumo de serviços do Grupo

Outros

Percepção Induzida

BASE: Tipo de Cliente Determinação do Valor do Cliente Desenvolvimento de Score de Valor



High

Low High

High

1

2 4

3

5 7

6

Potencial

Percepção Deduzida

Percepção Induzida

3

5 7

2

6

4

8

1


SEGMENTAÇÃO DA BASE – TIPO DE CLIENTE

Básica < 95

Padrão95 a 100

Padrão +100 a 110

Super120 a 110

Super +> 120

TIPO DE CLIENTEVALOR DO CLIENTE

BRONZE (BR)0 a 4.000

PRATA (PR)4.0000 a 6.000

OURO (O)6.000 a 8.000

PLATINA (PL)8.000 a 10.000

DIAMANTE (D)> 10.000

SEM GRAU (SG)< 0

Básica < 95

Padrão95 a 100

Padrão +100 a 110

Super120 a 110

Super +> 120

TIPO DE CLIENTEVALOR DO CLIENTE

BRONZE (BR)0 a 4.000

PRATA (PR)4.0000 a 6.000

OURO (O)6.000 a 8.000

PLATINA (PL)8.000 a 10.000

DIAMANTE (D)> 10.000

SEM GRAU (SG)< 0


SEGMENTAÇÃO DA BASE – CLUSTERIZAÇÃO

Ø  Baseada na criação de um índice, Value Contribution Score (VCS), o qual é baseado na composição da variável Valor do Cliente, a qual é composta por diferentes fontes de valores.

Ø  O Valor do Cliente é visto como uma composição de “forças” negativas e positivas.

Valor do Cliente

Produto 3 - Custo 2

Produto 1 Produto 2

- Custo 1


SEGMENTAÇÃO DA BASE – CLUSTERIZAÇÃO

SEGMENTAÇÃO 2 2000 1000 0 -1000

SEG

MEN

TAÇ

ÃO

1

200

0

-200

-400

-600

-800

-1000

Cluster 1

Cluster 3

Cluster 2


SEGMENTAÇÃO DA BASE – NOMEAÇÃO DOS CLUSTERS

Ø Direcionada pela contribuição Média das Fontes de Valor por Cluster

Contribuições Médias no Valor Total (%) Special Padrão Faturamento Veículo 1.7 68.6

1.8 16.6

Faturamento Eletr.Domésticos 0.1 0.1 81.6 - 2.9 - 18.9 - 26.8 8.6 122.8 - 18.8

- 8.8 - 7.2 - 17.7 37.5 67.2

Valor Custódia 0.0 0.0 0.2 1.6 4.0 2.3

Valor Cartão 49.7 2.0 3.3 55.1 5.9 9.8

Valor Leasing 41.0 2.3 7.0

Special Construção Padrão 1.7

331.3 68.6

Faturamento Mat.Construção 1.8 32.8 0.1 0.1

- 2.9 - - 26.8 8.6 - - 18.8

- 8.8 - 7.2 - 21.0 Valor CP Call Center 17.7

0.0 0.0 0.2 Valor Seguro 1.6 4.0 2.3

2.0 3.3 Valor Consórcio 5.9 9.8

41.0 2.3 7.0

Valor Financiado Veículo

Valor Financiado Eletr.Domésticos Valor Financiado Mat.Construção


CARACTERIZAÇÃO DOS CLUSTERS

CARACTERIZAÇÃO GERAL Ø  Visão geral do Cliente

Ø  Valor total

Ø  Número de clientes

Ø  Valor médio de todos os clusters

Ø  Porcentagem dos valores em relação ao valor total geral

Ø  Porcentagem dos valores em relação ao número total de clientes

CARACTERIZAÇÃO INDIVIDUAL DO CLUSTER

Ø  Caracterização dos clientes dentro de cada cluster através de:

Ø Variáveis cadastrais

Ø  Variáveis transacionais

Ø  “Perfil do Cliente”


VALOR

50074.14 4.4%

250584.96 22.0%

501037.62 44.0%

34333.37 3.0%

26912.90 2.4%

115779.14 10.2%

- 239790.17 - 26722.68 - 3740.61

2078.98 0.2%

1058.68 0.1%

16459.92 1.4%

50174.40 4.4%

13144.06 1.2%

2106.98 0.2%

8537.43 0.7%

14876.44 1.3%

51783.84 4.5%

50074.14 4.4%

250584.96 22.0%

501037.62 44.0%

34333.37 3.0%

26912.90 2.4%

115779.14 10.2%

- 239790.17 - 26722.68 - 3740.61

2078.98 0.2%

1058.68 0.1%

16459.92 1.4%

50174.40 4.4%

13144.06 1.2%

2106.98 0.2%

8537.43 0.7%

14876.44 1.3%

51783.84 4.5%

Special Padrão Construção Clusters

D

P L

O

P R

B R

SG

Cla

ssifi

caçã

o d

o Clie

nte

Total= $ 113.894.286 (sem considerar SG) 70.4%

15.6%

6.5%

5.8%

1.7%


NÚMERO CLIENTES

95 1.1%

285 3.2%

95 1.1%

243 2.7%

258 2.9%

787 8.9%

1144 12.9%

348 3.9%

245 2.8%

329 3.7%

119 1.3%

1193 13.5%

1814 20.5%

470 5.3%

75 0.8%

154 1.7%

267 3.0%

924 10.4%

1.1% 3.2% 1.1%

2.7% 2.9% 8.9%

12.9% 3.9% 2.8%

3.7% 1.3% 13.5%

20.5% 5.3% 0.8%

1.7% 3.0% 10.4%

D

P L

O

P R

B R

SG

Cla

ssifi

caçã

o d

o C

lient

e Total=8.845.385

19.6%

18.5%

26.6%

15.1%

14.5%

5.4%

Special Padrão Construção Clusters


•  Valor do Cliente = 5.000,00

PERFIL CLIENTES POR CLUSTER

• 6 Produtos por domicílio (130 meses acum. de Tempo de Base)

• 49% Classe C, 64% são homens, 27% cursaram superior

• Cluster com menor no de pessoas por domicílio

• Regiões: 56% sudeste, 17% sul e 15% nordeste

• 2,8% possuem XXX e 5,1% tem YYYY

• 35% pagavam carnê e 22% utilizavam cartão como forma de pagamento

•  Os Inativos estão inativos, em média, há 28 meses

• 69% compraram através de Call Center

• 39% renda domiciliar > R$ 4.000,00

(8) 9.6%

• 62% casados

• 59% dos domicílios possuem email

• Parcerias: 65% AAAA, 30% BBBB, 28% CCCC, 11% DDDD e 6% EEEE


VISUALIZAÇÃO MACRO E MICRO DA BASE DE CLIENTES

POSSIBILIDADE DE COMPOSIÇÃO DOS RESULTADOS

SEGMENTAÇÃO HOLÍSTICA – RESULTADO FINAL

ALICERCE DIRECIONADOR PARA A GESTÃO DA BASE 1

2

3

© 2017 Francisco Louzada

PERCEPÇÃO DOS POTENCIAIS

MODELAGEM DE PROPENSÃO PONTUAL


PERCEPÇÃO DOS POTENCIAIS DOS CLIENTES

Ø  Para cada segmento podemos desenvolver modelos de propensão, tanto pontual quanto temporal. Dentro destas classes de modelos podemos citar os modelos para inadimplência, abandono, aquisição de um novo produto, compra etc.

Alto Potencial

Baixo Potencial

Médio Potencial

VALUE CONTRIBUTION SCORE

TIPO

DE

CLI

ENTE

(3)

(7)

(5)

(1)

(4) (2)

(6) (8)


PERCEPÇÃO DOS POTENCIAIS DOS CLIENTES

DIAMANTE

CONSTRUÇÃO PADRÃO SPECIAL

PLATINA

OURO

PRATA

BRONZE


CARACTERÍSTICA BÁSICA DOS MODELOS DE PROPENSÃO

Se o Cliente tem ou não propensão

Qual a Propensão a Adimplência do Cliente ?

PERGUNTA

MODELOS DE PROPENSÃO PONTUAL

RESPOSTA


MODELAGEM DE PROPENSÃO POR CLUSTER

PONTUAL

Ø  Inadimplência

Ø  Abandono

Ø  Aquisição de um Novo Produto

Ø  Compra

Ø  Outros


MODELO DE PROPENSÃO

Características dos Indivíduos Modelo

“Estatístico”

A B A E E A B A C D

Ranking pela Propensão

Propensão Score (%) < 15 10 (A) 15-35 16 (B) 35-65 32 (C) 65-85 60 (D) >85 75 (E)

Potenciais Clientes


MODELOS DE PROPENSÃO

Modelos de Regressão

Árvores de Classificação

Redes Neurais

Logist Regression

CART

Naive Bayes

SVM

CHAID

MAR Splines

Exhaustive CHAID


BASE – PLANEJAMENTO AMOSTRAL PARA MODELAGEM DE

PROPENSÃO q  Horizonte de Previsão: intervalo de tempo entre a entrada na base e a observação do desempenho do mesmo, ou seja, classificação em “BOM” ou “MAU” .

q  REGRA: 12 a 18 meses Thomas (2002) propõe um intervalo de 12 meses, o qual é mais utilizado na prática.

Horizonte <<< 12 meses è subestima o percentual de “maus” não refletindo uma situação real. Horizonte >>> 12 meses è variáveis explanatórias potenciais distantes do evento: diminuindo a “correlação” com o mesmo.


BASE – PLANEJAMENTO AMOSTRAL

Mês 1 Meses 12

Período de Desempenho

PERÍODO DE DESEMPENHO: onde se observa a ocorrência do evento de interesse, mesmo tamanho que o HORIZONTE DE PREVISÃO

Observo Características dos Clientes

Observo a ocorrência ou não

do evento


x x

x


VARIÁVEL RESPOSTA: resposta binária, ou seja, BOM ou MAU dependendo do desempenho de crédito dentro do HORIZONTE DE PREVISÃO estabelecido, de normalmente 12 meses.

1

6

2 3 4

5

Indi

vídu

os

12 meses (Período de Desempenho)

1

6

tempo

2 3 4

5

Indi

vídu

os

12 meses (Período de Desempenho)

Variável Resposta

Mau ( y=1 ) Mau ( y=1 )

Bom ( y=0 ) Mau ( y=1 ) Mau ( y=1 )

Bom ( y=0 )

y=1 ) y=1 )

Bom ( y=0 ) Mau ( y=1 ) Mau ( y=1 )

Bom ( y=0 )

x

x

x

x



Efeito sazonal

q  Compor a amostra com 12 “safras” de clientes com horizonte de previsão também de 12 meses

mês 12 /

mês 1 / X2

mês 2 / X1

mês 3 / X1

mês 12 / X1

mês 12 / X2

mês 1 / X1

mês 2 / X2

mês 11 / X2

mês 1 / X2

mês 2 / X1

mês 3 / X1 X1

mês 12 / X2

mês 1 / X1

mês 2 / X2

mês 11 / X2

Periódo de Contratação Observação das vars.explanatórias

Periódo de Contratação Observação das vars.explanatórias

Periódo de Desempenho Variável resposta: ocorrência do evento de interesse

Periódo de Desempenho Variável resposta: ocorrência do evento de interesse


EXEMPLO – DADOS Objetivo: medir o risco de inadimplência de potenciais clientes que buscam adquirir um produto de crédito

Variável Descrição

ESTCIVIL Estado civil do cliente: solteiro / casado/ divorciado / viúvo

TP_CLIENTE Tipo de cliente

SEXO Sexo do cliente:Masc./ Fem.

SIT_RESID Condição da residência: própria / alugada

P_CARTAO Possui Cartão? (Sim / Não)

IDADE Idade do cliente (emanos)

TEMPORES Tempo de residência na casa atual (emanos)

TPEMPREG Tempo de emprego atual (emmeses)

TEL_COMERC Declarou telefone comercial?

OP_CORRESP Opção de Correspondência: Residencial / Comercial

COMP_RENDA Comprometimento da renda: até10% / 10%-20% / mais de 20%;

LIM_CRED Valor do Crédito Solicitado

CEP_COM CEP Comercial (2 posições)

CEP_RES CEP Residencial (2 posições)

G_PROF Grupo de profissão

REGIAO Região do Cliente

Status Flag: “Bom” ou “Mau”

Tempo Tempo até observar o evento inadimplência


EXEMPLO – DISTRIBUIÇÃO DO RISCO

0 - 100 78.5 % 2.2 % 101 - 200 57.3 % 3.1 % 201 - 300 35.8 % 3.9 % 301 - 400 15.9 % 7.8 % 401 - 500 8.1 % 15.0 %

501 - 600 5.4 % 17.7 %

601 - 700 3.7 % 19.7 %

701 - 800 3.3 % 15.1 %

801 - 900 2.6 % 11.3 %

901 - 1000 1.9 % 4.2 %

TOTAL 9.2 % 100.0 %

SCORING TAXA PARTICIPAÇÃO INADIMPLÊNCIA % DA CLASSE


Ex.: MODELAGEM DE PROPENSÃO PONTUAL

Ø  Distribuição do Risco

0 - 100 78.5 % 2.2 % 101 - 200 57.3 % 3.1 % 201 - 300 35.8 % 3.9 % 301 - 400 15.9 % 7.8 % 401 - 500 8.1 % 15.0 %

501 - 600 5.4 % 17.7 %

601 - 700 3.7 % 19.7 %

701 - 800 3.3 % 15.1 %

801 - 900 2.6 % 11.3 %

901 - 1000 1.9 % 4.2 %

TOTAL 16.2 % 100.0 %

SCORING TAXA PARTICIPAÇÃO INADIMPLÊNCIA % DA CLASSE


VALORAÇÃO

RELACIONAMENTO

RESULTADO FINAL – GESTÃO SEGMENTADA DO RELACIONAMENTO

ESTRUTURAÇÃO

EXECUÇÃO

1

2

3

4


RESULTADO FINAL – GESTÃO DO RELACIONAMENTO

VALORAÇÃO

- DBMs

•  Dados Cadastrais

•  Dados Relacionamento

•  Dados Transacionais

- Qualificação de dados

- Enriquecimento da base

ESTRUTURAÇÃO

- Valoração do Cliente - Segmentação Holística

•  Induzida

•  Deduzida

- Extração de Conhecimento


RESULTADO FINAL – GESTÃO DO RELACIONAMENTO

RELACIONAMENTO

- Determinação/caracterização dos Clusters de Relacionamento - Macro-Modelos de propensão - Micro-Modelos de propensão Importante: -  Direcionamento clusterizado do relacionamento

EXECUÇÃO

Aquisição Prospects •  diversas modalidades Retenção Clientes •  diversas modalidades •  renovações Venda Adicional •  up selling •  cross selling


VANTAGEM: A Estratégia (por Cluster) orienta a definição de “scripts” para o relacionamento, em todos os pontos de contato com o Cliente.

INTEGRAÇÃO DOS MODELOS AOS PROCESSOS DE

NEGÓCIO ESTRATÉGIA DE RELACIONAMENTO

INADIMPLÊNCIA

ABANDONO

VENDA ADICIONAL

CRM

Estratégia por Cluster

Modelo

Comercial Estratégia por

Cluster

IMPL

EMEN

TAR


Estratégia por

Cluster

MODELAGEM

Estratégia por Cluster


Resultado

A Modelagem de Segmentação Holística possibilita o desenvolvimento de um procedimento adequado de Gestão Estatística do Relacionamento com o Cliente, orientado para a definição de “scripts” em todos os pontos de contato com o Cliente.


Bibliografia

Louzada, F. ; Ferreira, P. H. ; Silva, V. On the Segmentation of Big Data Sets. Working Paper, 2017. Louzada, F. ; Ara, A. ; Fernandes, G. Classification methods applied to credit scoring: Systematic review and overall comparison. Surveys in Operations Research and Management Science, Online, 2016. Louzada-Neto, F. ; Diniz, Carlos Alberto Ribeiro ; Silva, P. H. F. Procedimentos estatísticos para segmentação de base de dados. Revista Brasileira de Pesquisas de Marketing, Opinião e Mídia, v. 5, p. 32-39, 2010.

© 2017 Francisco Louzada

[email protected]

Muito Obrigado!!!

E-mail

Documents

SEGMENTAÇÃO DE GRANDES BASES DE DADOS - ufmt.br · q Horizonte de Previsão: intervalo de tempo entre a entrada na base e a observação do desempenho do mesmo, ou seja, classificação