31
UNIVERSIDADE FEDERAL RURAL DE PERNAMBUCO. CURSO: BACHARELADO EM SISTEMAS DE INFORMAÇÃO.

TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

Embed Size (px)

Citation preview

Page 1: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

UNIVERSIDADE FEDERAL RURAL DE PERNAMBUCO.

CURSO: BACHARELADO EM SISTEMAS DE INFORMAÇÃO.

Page 2: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

APRESENTAÇÃO

Page 3: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

BIG DATA- INTRODUÇÃO.

TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA.

Page 4: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

DATACENTERS

Page 5: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

BIG DATA- DEFINIÇÃO:

FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO DE 5V:

VALOR VERACIDADE VARIEDADE VOLUME VELOCIDADE

Page 6: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

JUST IN TIME

Page 7: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

CONCEITO

Page 8: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

JUST IN TIME

Page 9: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

JUST IN TIME

Page 10: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

APLICAÇÕES JUST IN TIME:

Page 11: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

OBS:

ATÉ 2008, DE ACORDO COM A IBM, JÁ TINHAM SIDO PRODUZIDOS MAIS DE 2,5 QUINTILHÕES DE BYTES. DESSE TOTAL, 90% DAS INFORMAÇÕES FORAM ARMAZENADAS EM CENTRAIS, SENDO PRODUZIDOS NOS ÚLTIMOS DOIS ANOS

Page 12: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

BIG DATA E WAREHOUSEQual a diferença?

BIG DATA: Grande volume de dados integrados. Mais velocidade. Software que faz varredura de

dados,separando-os para serem utilizados em outra ocasião,tornando mais fácil a utilização dos mesmos.

Page 13: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

BIG DATA E WAREHOUSEQual a diferença?

WAREHOUSE: Conjunto de dados com variação de

tempo. Opção de auxiliar nas decisões de

negócios.

Page 14: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

A PROMISSORA UTILIZAÇÃO DO BIG DATA.

Page 15: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

CIENTISTAS DE DADOS

Page 16: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

MONITORAMENTO DE PREMATUROS EM HOSPITAL NO CANADÁ.

USO DO BIG DATA UNIVERSITY NA MEDICINA.

Page 17: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

UTILIZAÇÃO DO BIG DATA UNIVERSITY NO COMÉRCIO.

Page 18: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

BIG DATA UNIVERSITY NA BUSCA DE SOCORRO.

Page 19: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

BIG DATA NO DESCOBRIMENTO DO PRÉ-SAL.

Page 20: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

QUAL O TAMANHO LIMITE DE UM DADO PARA SER CONSIDERADO UM BIG DATA?

Isso depende da capacidade de processamento que ele gerencia em

relação às ferramentas que utilizam em conjunto. Pois, certo tamanho de

volume de dados ,que hoje é considerado grande, pode rapidamente deixar de ser visto como tal, uma vez

que as ferramentas e hardwares evoluem a cada ano.

Page 21: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

USO DO BIG DATA NA MEDICINA.

Page 22: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

LHC NO BIG DATA.Com 15 petabytes de dados (que é 15 milhões de gigabytes) recolhidos pelos detectores do LHC a cada ano, os cientistas

têm uma enorme tarefa pela frente.Como você processar tanta informação? Como você sabe que você está olhando para algo significativo dentro desse um grande conjunto de

dados? Mesmo usando um supercomputador, processar tanta informação pode demorar milhares de horas.Enquanto isso, o

LHC continuaria a acumular ainda mais dados. 

Page 23: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

ARMAZENANDO A MASSA DE DADOS.

SISTEMA DE ARQUIVO DISTRIBUÍDO (HADOOP): Solução que trabalha no

sentido de resolver o problema da grande massa de dados.

Page 24: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

GERENCIANDO A MASSA DE DADOS.

BIG DATA NO SQL-É um sistema não relacional de gerenciamento de Banco de dados diferentes dos tradicionais sistemas de BDs relacionais de gestão.

Page 25: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

USANDO BIG DATA COMO SQL:

Definimos como grupo de documentos, onde cada um representa uma linha e a coleção representa uma tabela em um Banco de Dados Relacional.

Page 26: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

PRINCIPAL VANTAGEM DA ABORDAGEM ORIENTADA A DOCUMENTOS:

FLEXIBILIDADE.

Page 27: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

MAP REDUCECONSISTE BASICAMENTE EM TRÊS PARTES: CONFIGURAÇÃO(setup) REDUÇÃO(Reduce) MAPEAMENTO(Map)

Page 28: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

COMPUTADORES CLUSTERCluster pode ser definido como um

sistema onde dois ou mais computadores trabalham de maneira conjunta para realizar processamento pesado. Em outras palavras, os computadores dividem as tarefas de processamento e trabalham como se fossem um único computador.

Page 29: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

DIFICULDADES DA COMPUTAÇÃO TRADICIONAL:

A quantidade de dados aumentou mais rapidamente que o processamento.

Page 30: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

CONCLUSÃO Grandes empresas já desenvolvem e utilizam

ferramentas para tratar grandes quantidades de dados, porém ainda existe uma grande área para ser explorada. A quantidade de dados vem aumentando exponencialmente, e à medida que se encontram cada vez mais formas de se utilizar grandes quantidades de dados, aqueles que não souberem utilizar estas ferramentas estarão perdendo mercado para os seus concorrentes. A grande Massa de Dados já é uma realidade e ao mesmo tempo um grande desafio para a Tecnologia.

Page 31: TRÊS BILHÕES DE GIGABYTES DE DADOS POR DIA. FAZENDO PARTE DO GIGANTESCO ARMAZENAMENTO DE DADOS, COM ENORME VELOCIDADE, O BIG DATA É BASEADO NO CONCEITO

LABORATÓRIO DE INFORMÁTICA.

ALUNOS PARTICIPANTES: ADRIANA RODRIGUES MITIÃ HENRIQUE

“ SISTEMAS DE INFORMAÇÃO(SI-1).”

Recife, 23 de janeiro de 2014.