Unsupervised Outlier Detection in Time Series Data Zakia Ferdousi e Akira Maeda Apresentação: Adriana Jouris

Unsupervised Outlier Detection in Time Series Data

Zakia Ferdousi e Akira Maeda

Apresentação: Adriana Jouris

Roteiro

• Introdução• Outliers• Análise do mercado de ações• Objetivo• Peer Group Analysis • Experimentos e Resultados• Conclusões e Trabalhos Futuros

2

Introdução

• A detecção de Outlier é fundamental na questão de mineração de dados, especificamente em detecção de fraudes.

• Detectar fraudes significa identificar as transferências fraudulentas suspeitas, ordens e outras atividades ilegais contra a empresa.

3

Outliers

• Outliers tenham sido definidas informalmente como observações em um conjunto de dados que parecem ser inconsistentes com o restante daquele conjunto de dados, ou que se afastem tanto de outras observações, a ponto de despertar suspeitas de que foram geradas por um mecanismo diferente.

4

Outliers

• A identificação de outliers pode levar à descoberta de conhecimentos úteis e tem uma quantidade de aplicações práticas em áreas tais como:

- a detecção de fraude com cartão de crédito;- análise de desempenho de atletas; - análise de irregularidades em votações;- previsão meteorológica (mau tempo), etc.

5

Análise do mercado de ações

• Fraude no mercado de ações & manipuladores• Fraude no mercado de ações normalmente ocorre

quando corretores tentam manipular os seus clientes para negociar ações sem respeitar os interesses reais dos seus próprios clientes

6

Análise do mercado de ações

• Por que a detecção de fraude no mercado de ações é necessária?• Vários métodos de detecção de fraudes estão

disponíveis nos campos como o cartão de crédito, telecomunicações, detecções intrusão na rede, etc. Mas área de detecção de fraudes no mercado de ações ainda está atrasada.

7

Objetivo

• Identificar IDs do vendedor cuja quantidade de venda aumenta subitamente.

• Identificar IDs do vendedor cuja quantidade cai repentinamente.

8

Peer Group Analysis - PGA

• PGA é um método não-supervisionado para monitoramento do comportamento ao longo do tempo na mineração de dados.

• PGA foi proposta para a detecção de fraude em cartões de crédito pela Bolton & Hand, em 2001.

9


Figura1 – Fluxo de Processo PGA 10


• PGA encontra as tendências anômalas nos dados, é razoável caracterizar tais dados de uma forma equilibrada através da colocação de dados nos períodos de tempo fixo.

11


• Após a modelagem de dados adequada torna-se necessário algumas análises estatísticas.

• Em seguida, a tarefa mais importante do método PGA consiste na identificação de “peer group” para todas as observações meta/alvo.

12


• Peer grups são resumidas em cada ponto de tempo subseqüente e o objeto meta é então comparada com seus resumos dos peer groups.

• As contas desviam de seus peer groups são substancialmente mais sinalizado como outliers para uma investigação mais aprofundada.

13


• Estes processos de repetição da identificação do peer group para sinalização da conta, desde que recebido tenha sido bom resultado.

14


• Significado:• A abordagem da PGA é diferente na medida em

que um perfil é formado com base no comportamento de vários usuários similares, ao passo que as atuais técnicas de detecção “outlier”, ao longo do tempo incluem perfis de usuário único.

15


• Definição• Vamos supor que temos observações em N objetos,

onde cada observação é uma seqüência de valores d, representado por um vetor, X i, de comprimento d. O valor de jth da observação ith, X ij, ocorre em um ponto fixo tempo T j. Deixe PG i (T j) = {Alguns subconjunto de observações (≠X i) que mostram comportamento semelhante ao do Xi em tempo Tj}. Depois GP i (T j) é o peer group do objeto i, em tempo j.

16


• O parâmetro npeer descreve o número de objetos no peer group e controla efetivamente a sensibilidade da PGA.

• O problema de encontrar um bom número de peers é a fim de encontrar o número correto de vizinhos em uma análise com a vizinhança mais próxima.

17


• Estatísticas Peer Group• Deixe S ij ser uma estatística resumindo o

comportamento das observações ith (i-ésimo) em um tempo j. Uma vez que temos encontrado o peer group metas/alvos pelas observações X i podemos calcular estatísticas peer group, P ij.

• Essas serão, geralmente, resumos a partir de valores de S ij para os membros do grupo.

•

18

Peer Group Analysis - PGA• O princípio aqui é que o grupo inicialmente fornece um

modelo local, P i1, para S i1, assim caracterizando o comportamento local de X i no momento t 1, e posteriormente irá fornecer modelos, P ij, para S ij, em vez T j, j > 1. Se a nossa observação meta/alvo, S ik, diverge "significativamente" do seu modelo peer group P ik em tempo T k, então nós concluímos que a nossa meta/alvo não estava mais se comportando como seus peers em vez t k. Se o desvio for suficiente grande, então a observação meta/alvo será sinalizada como merecendo investigação.

19


• Para medir o desvio, da observação peer group nós calculamos a sua distância padronizada a partir do modelo peer group, o exemplo que usamos aqui é uma distância padronizada do centróide do peer group baseada em uma estatística-t. O valor do centróide do peer group é dado pela equação:

20


21

Experimentos

Tabela 1: parâmetros utilizados na configuração experimental

22

Dados experimentais

• Conjunto de dados consiste de 3 meses a partir de dados reais 01/06/2005 a 31/08/2005 para a quantidade diariamente de ações vendida para cada um dos 143 corretores, que foram recolhidas da bolsa de valores de Bangladesh (Dhaca). O número total transação é de 340.234.

Aqui nós estabelecemos, d = 14 semanas, N = 143. O comprimento de tempo, w = 5, mas variado npeer para assumir valores npeer = 13 e npeer = 26.

23

Dados experimentais

Tabela 2: Transação no mercado de ações

24

Resultados experimentais

• Para fins de comparação, nos simulamos PGA sobre transações de ações muitas vezes, alterando o número de peers.

• Os seguintes gráficos ilustram o poder da PGA para detectar anomalias locais nos dados.

25

PGA sobre transações de ações, conta # 132

npeer = 13 npeer = 26

26

PGA sobre transações de ações, conta # 68

npeer = 13 npeer = 26

27


• Nós também calculamos o desvio da observação meta do seu peer group. Se o desvio for suficientemente grande, então a meta observação será sinalizado como merecedor de uma investigação. Os seguintes resultados mostrados aqui são as distâncias entre o centróide padronizada do peer group baseado em uma estatística-t.

28


Tabela 3 - Desvio de Contas Alguns Corretores

29

Conclusões e Trabalhos Futuros• Identificar IDs comprador cuja quantidade

comprada aumenta subitamente. • Identificar IDS vendedor / comprador que de

repente começa um grande volume de negócio. • Identificar IDs ações se o volume negociado ou

quantidade negociada e preço aumenta de uma forma suspeita.

30

FIM

31

Documents

Unsupervised Outlier Detection in Time Series Data Zakia Ferdousi e Akira Maeda Apresentação: Adriana Jouris