25
Arthur Lima Cirino

Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Embed Size (px)

Citation preview

Page 1: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Arthur Lima Cirino

Page 2: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Email - Mais importante meio de comunicação, porém:Recebidos e enviados desordenadamentePrejuízo de US$650 bilhões

Sistemas que controlem a sobrecarga

Priorização de e-mail personalizado

Introdução

Page 3: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Introdução

Faltam dados para treinamento e testeProcesso custosoConsumo de tempoTediosoPoucos usuários para muitos critérios de julgamento

1º estudo na área!Supervised ClusteringRedes sociaisSemisupervised feature inductionModelo de classificação

Support Vector Machine (SVM)

Page 4: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Personal Social Network (PSN)

Banco de mensagens anônimas5 níveis

PSN criada para cada usuário

Page 5: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Social Clustering

Dificuldade em prever importância de e-mails

Page 6: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Rementes não marcam mensagensInferência a partir do seu grupo (SVM)

Newman Clustering (NC) algorithm

Social Clustering

Page 7: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Unsupervised Learning ofSocial Importance Features

Page 8: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Seven metrics todescribe email message features

in-degree centrality,out-degree centrality,total-degree centrality,clustering coefficient,clique count,betweenness centrality, andPageRank score.

Page 9: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

In-degree centrality

Medida de normalização para cada contato (mensagens recebidas)

Uma pontuação alta indica um receptor popular na PSN.

Page 10: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Out-degree centrality

Medida de normalização para cada contato (mensagens enviadas).

Page 11: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Total-degree centrality

Media simples In-degree centrality eOut-degree centrality

Page 12: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

clustering coefficient

Mede a conectividade entre os nós vizinhos a i

Já usado para combater Spams

Page 13: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Clique

Subgrafo totalmente conectado dentro de umum grafo não direcionado

Mede a centralidade do nó

Page 14: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

betweenness centrality

Percentual de caminhos que vão através do nó i para todos os possíveis caminhos.

Uma pontuação elevada nesta medidasignifica que a pessoa correspondenteé um ponto de contato entre os diferentesgrupos sociais

Page 15: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

PageRank score

Medida global de importância de e-mail

Page 16: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Seven metrics todescribe email message features

Essas medidas são chamadas de recursos de ‘Social Importance’ (SI)

Atribuído a cada remetente um conjunto de dados extraídos do SI.

Características ponderadas pelos classificadores SVM

Page 17: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Semisupervised Learning ofSocial Importance Features

Indução baseada em:Etiquetas de importância atribuídas ao usuárioEstrutura gráfica das interações em um conjunto de e-

mails pessoais

Level-Sensitive PageRank (LSPR), matriz Nx5N representa os usuáriosNíveis de importância (k = 1, 2, 3, 4, 5)

Page 18: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Experimentos

Language Technologies Institute at Carnegie Mellon Universitycorpo docente, funcionários e estudantes de pós-

graduação

Rotular pelo menos 400 mensagens

não-spam

Divisão dos dados

Page 19: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Pré-processamento

Canonicalization do endereço de e-mailUnificação de contas de um mesmo usuário

Identificar e-mails

Checagem manual e correção de erros

Page 20: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Features

Características básicas

From, To, Título, CC, corpo da mensagem

Representadas por um vetor em cada mensagem

Subvetor de m-dimensões

Page 21: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Classifiers

Cinco classificadores pra prever a importância do e-mail.Score com relação ao nível de importância

O nível de importância com mais alta pontuação é tida como importância prevista pelo sistema.

Page 22: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Medidas

Mean Absolute Error (MAE)

Range from 0 (best) to 4 (worst)

Page 23: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Resultados

Page 24: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Resultados

Page 25: Email - Mais importante meio de comunicação, porém: Recebidos e enviados desordenadamente Prejuízo de US$650 bilhões Sistemas que controlem a sobrecarga

Level-Sensitive PageRank (LSPR)

Normalização – Somatório dos elementos de cada coluna

Atualização iterativa:

X – probabilidades de transição entre usuários com base em interações não rotuladas

a – [1, 0], controle da atualização