Unsupervised Outlier Detection in Time Series Data Zakia Ferdousi e Akira Maeda Apresentação:...

Unsupervised Outlier Detection in Time Series Data

Zakia Ferdousi e Akira Maeda

Apresentação: Adriana Jouris

Roteiro

• Introdução• Outliers• Análise do mercado de ações• Objetivo• Peer Group Analysis • Experimentos e Resultados• Conclusões e Trabalhos Futuros

2

Introdução

• A detecção de Outlier é fundamental na questão de mineração de dados, especificamente em detecção de fraudes.

• Detectar fraudes significa identificar as transferências fraudulentas suspeitas, ordens e outras atividades ilegais contra a empresa.

3

Outliers

• Outliers tenham sido definidas informalmente como observações em um conjunto de dados que parecem ser inconsistentes com o restante daquele conjunto de dados, ou que se afastem tanto de outras observações, a ponto de despertar suspeitas de que foram geradas por um mecanismo diferente.

4

Outliers

• A identificação de outliers pode levar à descoberta de conhecimentos úteis e tem uma quantidade de aplicações práticas em áreas tais como:

- a detecção de fraude com cartão de crédito;- análise de desempenho de atletas; - análise de irregularidades em votações;- previsão meteorológica (mau tempo), etc.

5

Análise do mercado de ações

• Fraude no mercado de ações & manipuladores• Fraude no mercado de ações normalmente ocorre

quando corretores tentam manipular os seus clientes para negociar ações sem respeitar os interesses reais dos seus próprios clientes

6

Análise do mercado de ações

• Por que a detecção de fraude no mercado de ações é necessária?• Vários métodos de detecção de fraudes estão

disponíveis nos campos como o cartão de crédito, telecomunicações, detecções intrusão na rede, etc. Mas área de detecção de fraudes no mercado de ações ainda está atrasada.

7

Objetivo

• Identificar IDs do vendedor cuja quantidade de venda aumenta subitamente.

• Identificar IDs do vendedor cuja quantidade cai repentinamente.

8

Peer Group Analysis - PGA

• PGA é um método não-supervisionado para monitoramento do comportamento ao longo do tempo na mineração de dados.

• PGA foi proposta para a detecção de fraude em cartões de crédito pela Bolton & Hand, em 2001.

9

Peer Group Analysis - PGA

Figura1 – Fluxo de Processo PGA 10

Peer Group Analysis - PGA

• PGA encontra as tendências anômalas nos dados, é razoável caracterizar tais dados de uma forma equilibrada através da colocação de dados nos períodos de tempo fixo.

11

Peer Group Analysis - PGA

• Após a modelagem de dados adequada torna-se necessário algumas análises estatísticas.

• Em seguida, a tarefa mais importante do método PGA consiste na identificação de “peer group” para todas as observações meta/alvo.

12

Peer Group Analysis - PGA

• Peer grups são resumidas em cada ponto de tempo subseqüente e o objeto meta é então comparada com seus resumos dos peer groups.

• As contas desviam de seus peer groups são substancialmente mais sinalizado como outliers para uma investigação mais aprofundada.

13

Peer Group Analysis - PGA

• Estes processos de repetição da identificação do peer group para sinalização da conta, desde que recebido tenha sido bom resultado.

14

Peer Group Analysis - PGA

• Significado:• A abordagem da PGA é diferente na medida em

que um perfil é formado com base no comportamento de vários usuários similares, ao passo que as atuais técnicas de detecção “outlier”, ao longo do tempo incluem perfis de usuário único.

15

Peer Group Analysis - PGA

• Definição• Vamos supor que temos observações em N objetos,

onde cada observação é uma seqüência de valores d, representado por um vetor, X i, de comprimento d. O valor de jth da observação ith, X ij, ocorre em um ponto fixo tempo T j. Deixe PG i (T j) = {Alguns subconjunto de observações (≠X i) que mostram comportamento semelhante ao do Xi em tempo Tj}. Depois GP i (T j) é o peer group do objeto i, em tempo j.

16

Peer Group Analysis - PGA

• O parâmetro npeer descreve o número de objetos no peer group e controla efetivamente a sensibilidade da PGA.

• O problema de encontrar um bom número de peers é a fim de encontrar o número correto de vizinhos em uma análise com a vizinhança mais próxima.

17

Peer Group Analysis - PGA

• Estatísticas Peer Group• Deixe S ij ser uma estatística resumindo o

comportamento das observações ith (i-ésimo) em um tempo j. Uma vez que temos encontrado o peer group metas/alvos pelas observações X i podemos calcular estatísticas peer group, P ij.

• Essas serão, geralmente, resumos a partir de valores de S ij para os membros do grupo.

•

18

Peer Group Analysis - PGA• O princípio aqui é que o grupo inicialmente fornece um

modelo local, P i1, para S i1, assim caracterizando o comportamento local de X i no momento t 1, e posteriormente irá fornecer modelos, P ij, para S ij, em vez T j, j > 1. Se a nossa observação meta/alvo, S ik, diverge "significativamente" do seu modelo peer group P ik em tempo T k, então nós concluímos que a nossa meta/alvo não estava mais se comportando como seus peers em vez t k. Se o desvio for suficiente grande, então a observação meta/alvo será sinalizada como merecendo investigação.

19

Peer Group Analysis - PGA

• Para medir o desvio, da observação peer group nós calculamos a sua distância padronizada a partir do modelo peer group, o exemplo que usamos aqui é uma distância padronizada do centróide do peer group baseada em uma estatística-t. O valor do centróide do peer group é dado pela equação:

20

Peer Group Analysis - PGA

21

Experimentos

Tabela 1: parâmetros utilizados na configuração experimental

22

Dados experimentais

• Conjunto de dados consiste de 3 meses a partir de dados reais 01/06/2005 a 31/08/2005 para a quantidade diariamente de ações vendida para cada um dos 143 corretores, que foram recolhidas da bolsa de valores de Bangladesh (Dhaca). O número total transação é de 340.234.

Aqui nós estabelecemos, d = 14 semanas, N = 143. O comprimento de tempo, w = 5, mas variado npeer para assumir valores npeer = 13 e npeer = 26.

23

Dados experimentais

Tabela 2: Transação no mercado de ações

24

Resultados experimentais

• Para fins de comparação, nos simulamos PGA sobre transações de ações muitas vezes, alterando o número de peers.

• Os seguintes gráficos ilustram o poder da PGA para detectar anomalias locais nos dados.

25

PGA sobre transações de ações, conta # 132

npeer = 13 npeer = 26

26

PGA sobre transações de ações, conta # 68

npeer = 13 npeer = 26

27

Resultados experimentais

• Nós também calculamos o desvio da observação meta do seu peer group. Se o desvio for suficientemente grande, então a meta observação será sinalizado como merecedor de uma investigação. Os seguintes resultados mostrados aqui são as distâncias entre o centróide padronizada do peer group baseado em uma estatística-t.

28

Resultados experimentais

Tabela 3 - Desvio de Contas Alguns Corretores

29

Conclusões e Trabalhos Futuros• Identificar IDs comprador cuja quantidade

comprada aumenta subitamente. • Identificar IDS vendedor / comprador que de

repente começa um grande volume de negócio. • Identificar IDs ações se o volume negociado ou

quantidade negociada e preço aumenta de uma forma suspeita.

30

FIM

31