Seminário Big Data, 19/05/2014 - Apresentação Edson Gomi

BIG DATA – UMA QUESTÃO URGENTE A SER ENFRENTADA PELAS EMPRESAS

Prof. Dr. Edson S. Gomi Escola Politécnica – Universidade de São Paulo FECOMERCIO – 19 de Maio de 2014

SUMÁRIO

¢ O que é Big Data? ¢ Exemplos ¢ Questões técnicas, éticas e legais

O QUE É BIG DATA?

¢ São conjuntos de dados; ¢ Grandes em quantidade (petabytes); ¢ Grandes em variedade (bancos de dados,

planilhas, documentos, páginas web, etc); ¢ Grandes em velocidade (tempo real:

supermercados, bancos, cartões de crédito, redes sociais, telefonia, etc);

¢ Grandes em complexidade de análise.

MAPEANDO O UNIVERSO

THE SLOAN DIGITAL SKY SURVEY

¢ http://www.sdss.org/ ¢ Dados obtidos durante 8 anos criaram mapas

tridimensionais contendo mais de 930.000 galáxias e mais de 120.000 quasares;

¢ O projeto usa um telescópio ótico de grande angular, de 2.5 m, localizado no Observatório Apache Point, no estado do Novo México, EUA;

¢ A cada noite, o telescópio gera cerca de 200 GB de dados ou mais de 70 TB de dados por ano.

NSA – NATIONAL SECURITY AGENCY

¢  “The NSA Is Building the Country’s Biggest Spy Center (Watch What You Say)”

¢ http://www.wired.com/2012/03/ff_nsadatacenter/all/1

¢ Bluffdale – Utah ¢ Armazenamento da ordem de exabytes.

http://en.wikipedia.org/wiki/Yottabyte

PULSE PROJECT (UNITED NATIONS)

¢  http://www.unglobalpulse.org ¢  Objetivo: investigar como as novas fontes de dados

digitais e tecnologias de análise em tempo real podem ajudar a criação de políticas públicas para o bem estar das pessoas, de forma a proteger melhor as populações contra crises sócio-econômicas;

¢  Utiliza dados de: �  Conteúdo on-line (web, blogs, redes sociais, e-commerce) �  Dados “anonimizados” de telecomunicações, mobile

banking, online search, trânsito, etc; �  Sensores fisicos: imagens de satélite, video, tráfego, etc; �  Crowdsourcing: online surveys, mapas gerados por

usuários.

GLOBAL PULSE

¢  “Orange will make 2.5B anonymized records of 5 million mobile phone users in Côte d'Ivoire available for analysis by research teams from around the world”

EBAY

¢  90 PB datawarehouse, com dados das transações e do comportamento dos clientes;

¢ http://www.itnews.com.au/News/342615,inside-ebay8217s-90pb-data-warehouse.aspx

¢  100 milhões de usuários, que geram 100 TB de dados por dia;

WIKIPEDIA

¢  30 milhões de verbetes em 287 idiomas; ¢  500 milhões de usuários únicos/mês; ¢  18 bilhões de páginas visitadas/mês; ¢ Em 2013: US$45 milhões de contribuições; ¢ GNU Free Documentation License (GFDL);

QUESTÕES TÉCNICAS DO BIG DATA

¢ Captura; ¢ Armazenamento; ¢ Pesquisa/Busca; ¢ Compartilhamento; ¢ Transferência; ¢ Análise; ¢ Visualização ¢ Veracidade; ¢ Curadoria.

HOW COMPANIES LEARN YOUR SECRETS?

¢ The New York Times (19/02/2012) ¢ Target: Andrew Pole analisou os registros do

serviço de chá de bebê ¢  Início do 2o. trimestre: compra de loção neutro ¢  20 semanas: compra de suplementos de cálcio,

magnésio e zinco ¢ Compra de sabonetes neutros, pacotes de

cotonetes e toalhas no final da gravidez ¢ Score de gravidez: 25 produtos ¢  Envio de cupons em estágios específicos da

gravidez

MAP: WHERE ARE THE GUN PERMITS IN YOUR NEIGHBORHOOD?

¢  The Journal News:http://archive.lohud.com/interactive/article/20121223/NEWS01/121221011/Map-Where-gun-permits-your-neighborhood- (22/12/2012)

QUESTÕES ÉTICAS E LEGAIS

¢ Mundo de sensores – tênis, carros, celulares, cartões de crédito : perfil das características e do comportamento dos indivíduos

¢ Dados como commodity : entregues para outros, utilizados fora do contexto, em novas aplicações

¢ Opacidade do armazenamento dos dados : onde estão guardados, quem tem acesso?

¢ Dados em larga escala e abrangência geográfica : milhões de pessoas, em locais com culturas diferentes.

OBRIGADO PELA ATENÇÃO!

CONTATO

Edson S. Gomi E-Mail: gomi@usp.br