Hadoop: HDFS, MapReduce e ZooKeeperra100582/mc715/apresenta.pdf · ..1 Agenda...2 Introdu¸cão...3 Hadoop File System...4 MapReduce...5 Zookeeper...6 Referências Bibliográficas

. . . . . .

ApresentacaoDisciplina: MC715 (Laboratorio de Sistemas Distribuıdos)

Hadoop: HDFS, MapReduce e ZooKeeper

Celina d’ Avila Samoginhttp://www.students.ic.unicamp.br/∼ra100582

13 de agosto de 2010

Profa: Islene Calciolari Garcia

Celina Samogin () Hadoop 13 de agosto de 2010 1 / 36

. . . . . .

.. .1 Agenda

.. .2 Introducao

.. .3 Hadoop File System

.. .4 MapReduce

.. .5 Zookeeper

.. .6 Referencias Bibliograficas


. . . . . .

Agenda

.. .1 Agenda

.. .2 Introducao


.. .4 MapReduce

.. .5 Zookeeper



. . . . . .

Introducao

Processar um volume relativamente grande de dados e possıvel, empoucas horas, com alguns dolares e com algumas maquinas:http://aws.amazon.com/

Isto tambem pode ser feito com o Hadoop, um framework paraprocessamento de dados em larga escala

Volume grande de dados ?

I megabyte - 106 - uma fotoI gigabyte - 109 - um DVD armazena 4.7 GB de um filmeI terabyte - 1012 - 200 filmesI petabyte - 1015

I exabyte - 1018

I zettabyte - 1021 - um disco de 140 GB para cada pessoa no mundo


. . . . . .

Introducao





I exabyte - 1018



. . . . . .

Introducao





I exabyte - 1018



. . . . . .

Introducao



Volume grande de dados ?I megabyte - 106 - uma foto

I gigabyte - 109 - um DVD armazena 4.7 GB de um filmeI terabyte - 1012 - 200 filmesI petabyte - 1015

I exabyte - 1018



. . . . . .

Introducao



Volume grande de dados ?I megabyte - 106 - uma fotoI gigabyte - 109 - um DVD armazena 4.7 GB de um filme

I terabyte - 1012 - 200 filmesI petabyte - 1015

I exabyte - 1018



. . . . . .

Introducao



Volume grande de dados ?I megabyte - 106 - uma fotoI gigabyte - 109 - um DVD armazena 4.7 GB de um filmeI terabyte - 1012 - 200 filmes

I petabyte - 1015

I exabyte - 1018



. . . . . .

Introducao



Volume grande de dados ?I megabyte - 106 - uma fotoI gigabyte - 109 - um DVD armazena 4.7 GB de um filmeI terabyte - 1012 - 200 filmesI petabyte - 1015

I exabyte - 1018



. . . . . .

Introducao




I exabyte - 1018



. . . . . .

Introducao




I exabyte - 1018



. . . . . .

Introducao

O Hadoop foi criado por Doug Cutting.

E utilizado por grandes empresas: Facebook, Yahoo, Twitter,Microsoft e IBM e por laboratorios de Universidades: University ofMaryland, Cornell University, University of Edinburg, Unicamp [9]

commodity hardware, Google File System (GFS), cluster, TCP/IP,RPC, GNU/Linux, MapReduce

2002 - Mike Cafarella e Doug Cutting criaram o projeto Nutch,algoritmos de buscadores web

2003 - artigo sobre o Google File System

2004 - uma implementacao open source do GFS: Nutch DistributedFile System (NDFS) que originou o HDFS

2004 - Google propos o MapReduce

2006 - Google e Doug Cutting do Yahoo! formaram um sub-projeto apartir do Apache Lucene 2 que foi chamado Hadoop


. . . . . .

Introducao










. . . . . .

Introducao










. . . . . .

Introducao










. . . . . .

Introducao










. . . . . .

Introducao










. . . . . .

Introducao










. . . . . .

Introducao










. . . . . .

Introducao

O Hadoop disponibiliza um armazenamento compartilhado(HDFS/Hadoop Distributed Filesystem) e um sistema de analise(MapReduce).

Facebook, Google, Twitter, Microsoft e IBM armazenam dados daordem de petabytes e utilizam o Hadoop.

O projeto Hadoop e hoje um projeto independente dentro dahierarquia de projetos da Apache Software Foundation.


. . . . . .

Introducao





. . . . . .

Introducao





. . . . . .

Introducao

Os subprojetos atuais sao:

Common (Core) - componentes e interfaces para I/O

Avro - serializacao de dados, RPC, objetos persistentes, apenas paraHadoop

HDFS - filesystem do Hadoop, TCP/IP, executa nas maquinas de umcluster: NameNode, SecondaryNameNode, DataNodes

MapReduce - modelo de processamento de dados distribuıdos,executa nas maquinas de um cluster: jobtracker, tasktrackers

Zookeeper - servico de coordenacao, prove primitivas para locks,arvore de meta-dados, no lıder, nos seguidores


. . . . . .

Introducao








. . . . . .

Introducao








. . . . . .

Introducao








. . . . . .

Introducao








. . . . . .

IntroducaoPig - processa grandes conjuntos de dados, linguagem Pig Latin,modo local e modo hadoopHBase - usado para aplicacoes de acesso aleatorio (read/write) agrandes conjuntos de dados e suporta computacoes em modo batchHive - usado para aplicacoes data warehouse sob o HDFS, umaSQL-like linguagem de consultaChukwa - sistema de coleta de informacoes para monitorar sistemasdistribuıdos

Figura: Projeto Hadoop [3]


. . . . . .

Introducao

Por que nao usamos banco de dados ?

Em um banco de dados, uma atualizacao da arvore-B pode gerarmuitas operacoes de seeking.

seek time - processo de mover a cabeca do disco para um dado localno disco com o objetivo de ler ou de escrever dados

E mais rapido usar um algoritmo de ordenacao (sort/merge) para:

I analisar um grande volume de dados da ordem de petabytesI reconstruir toda a base de dados


. . . . . .

Introducao







. . . . . .

Introducao







. . . . . .

Introducao




E mais rapido usar um algoritmo de ordenacao (sort/merge) para:I analisar um grande volume de dados da ordem de petabytes

I reconstruir toda a base de dados


. . . . . .

Introducao




E mais rapido usar um algoritmo de ordenacao (sort/merge) para:I analisar um grande volume de dados da ordem de petabytesI reconstruir toda a base de dados


. . . . . .

Introducao

Aplicacao para RDBMS Aplicacao paraHDFS/MapReduce

tamanho gigabytes petabytesacesso OLTP(interativo) e

batchbatch

atualizacao le e escreve muitas vezes escreve uma vez, lemuitas vezes

esquema estatico dinamicointegridade alta baixaescala nao linear linear

Fonte: [7]


. . . . . .

Introducao

Vıdeo do YouTube - Google container data center tour


. . . . . .

Agenda

.. .1 Agenda

.. .2 Introducao


.. .4 MapReduce

.. .5 Zookeeper



. . . . . .

HDFS

Figura: Arquitetura de rede em dois nıveis para um cluster Hadoop [3]


. . . . . .

HDFSUm cluster do HFS e composto por um unico NameNode, umservidor-mestre que gerencia o sistema de arquivos e controla o acesso aosarquivos de clientes. Ha uma serie de DataNodes, geralmente um por nodo cluster, que gerenciam o armazenamento anexado ao no em que saoexecutados. O NameNode executa operacoes no sistema de arquivos,como open, close, rename de arquivos e de diretorios.

Figura: Arquitetura do HFS [3]


. . . . . .

HDFS

O NameNode e DataNode sao partes do software projetado pararodar em commodity hardware sob sistema operacional GNU/Linux.

HDFS e construıdo usando a linguagem Java.

Os protocolos do HDFS usam o protocolo TCP/IP. O cliente fala oprotocolo ClientProtocol com o NameNode atraves de uma porta. OsDataNodes falam o protocolo DataNodeProtocol com o NameNode.Esses protocolos executam uma Remote Procedure Call (RPC).


. . . . . .

HDFSHFS disponibiliza espaco para sistema de arquivos e permite que os dadosdo usuario sejam armazenados em arquivos. Internamente, um arquivo edividido em um ou mais blocos e esses blocos sao armazenados em umconjunto de DataNodes. O tamanho default de cada bloco e 64MB.

Figura: Arquitetura do HFS - Datanodes e Blocos [3]


. . . . . .

Agenda

.. .1 Agenda

.. .2 Introducao


.. .4 MapReduce

.. .5 Zookeeper



. . . . . .

MapReduce

Os dados que MapReduce processa sao dados nao estruturados comotexto ou imagens. O MapReduce tenta colocar esses dados no noonde sao feitas as computacoes, desta forma, o acesso aos dados erapido, pois e local.

O MapReduce pode resolver problemas genericos cujos dados podemser divididos em matrizes de dados, para cada matriz a mesmacomputacao e necessaria e nao existe necessidade de comunicacaoentre as tarefas.

Problemas como empacotamento, linha de fabrica, otimizacao naosao resolvidos pelo modelo de computacao do MapReduce.


. . . . . .

MapReduce





. . . . . .

MapReduce





. . . . . .

MapReduce e Lisp

Map: fazer algo para todos da lista e gerar uma nova lista

Fold: combinar os resultados da nova lista de alguma maneira

Exemplo map e fold em Lisp [6]

(map (lambda (x) (* x x)) ’(1 2 3 4 5))

− > ’(1 4 9 16 25)

(fold + 0 ’(1 2 3 4 5))

− > 15

(fold * 1 ’(1 2 3 4 5))

− > 120


. . . . . .

MapReduce e Lisp




(map (lambda (x) (* x x)) ’(1 2 3 4 5))

− > ’(1 4 9 16 25)

(fold + 0 ’(1 2 3 4 5))

− > 15

(fold * 1 ’(1 2 3 4 5))

− > 120


. . . . . .

MapReduce e Lisp




(map (lambda (x) (* x x)) ’(1 2 3 4 5))

− > ’(1 4 9 16 25)

(fold + 0 ’(1 2 3 4 5))

− > 15

(fold * 1 ’(1 2 3 4 5))

− > 120


. . . . . .

MapReduce e Lisp




(map (lambda (x) (* x x)) ’(1 2 3 4 5))

− > ’(1 4 9 16 25)

(fold + 0 ’(1 2 3 4 5))

− > 15

(fold * 1 ’(1 2 3 4 5))

− > 120


. . . . . .

MapReduce e Lisp




(map (lambda (x) (* x x)) ’(1 2 3 4 5))

− > ’(1 4 9 16 25)

(fold + 0 ’(1 2 3 4 5))

− > 15

(fold * 1 ’(1 2 3 4 5))

− > 120


. . . . . .

MapReduce e Lisp




(map (lambda (x) (* x x)) ’(1 2 3 4 5))

− > ’(1 4 9 16 25)

(fold + 0 ’(1 2 3 4 5))

− > 15

(fold * 1 ’(1 2 3 4 5))

− > 120


. . . . . .

MapReduce e Lisp

Exemplo de soma dos quadrados de numeros [6]

(define (sum-of-squares v)

(fold + 0 (map (lambda (x) (* x x)) v)))

(sum-of-squares ’(1 2 3 4 5))

− > 55


. . . . . .

MapReduce e Lisp





− > 55


. . . . . .

MapReduce e Lisp





− > 55


. . . . . .

MapReduce e Lisp





− > 55


. . . . . .

MapReduce

Problema generico:

iteracao sobre um numero grande de registros

Map extrai algo de cada registro (chave, valor)

rearranjo (shuffle e ordenacao de resultados intermediarios por (chave,valor)

Reduce agrega os resultados intermediarios

geracao da saıda


. . . . . .

MapReduce

(input) < k1, v1 >→ map →< k2, v2 >→ combine→< k2, v2 >→ reduce →< k3, v3 > (output)

Exemplo com a shell do linux: contar palavras de um arquivo usandoos comandos: cat, tr, sort, uniq

Exemplo com MapReduce: contar palavras de um conjunto dearquivos usando o /bin/cat como map e o /usr/bin/wc como reduce

Programas podem ser escritos em varias linguagens como Java, Ruby,Python e C++ [4]


. . . . . .

MapReduce






. . . . . .

MapReduce






. . . . . .

MapReduce






. . . . . .

MapReduce

Figura: Uma execucao do MapReduce [8]


. . . . . .

Agenda

.. .1 Agenda

.. .2 Introducao


.. .4 MapReduce

.. .5 Zookeeper



. . . . . .

Zookeeper

Figura: Zookeeper [2]


. . . . . .

Zookeeper

E um servico de coordenacao de processos de aplicacoes em sistemasdistribuıdos, criado pelo time do Yahoo!


. . . . . .

Zookeeper

servidor prove os servicos do ZK, processam os pedidos em ordemFIFO

clientes usuarios do servico do ZK que estabelece uma sessao noservidor, cliente usa uma API para realizar solicitacoes

z-node no onde estao armazenados dados (meta-dados), no maximo1MB por default, organizados em uma hierarquia (arvore dedados ou um filesystem), todos os nos armazenam dados,nem todos os nos tem filhos

servicos uma abstracao de um conjunto de z-nodes organizadossegundo um hierarchical name space, notificar clientes sobrealteracoes do hierarchical name space atraves de gatilhos(triggers)


. . . . . .

Zookeeper






. . . . . .

Zookeeper






. . . . . .

Zookeeper






. . . . . .

Zookeeper

Figura: Zookeeper: hierarchical name space e clientes [5]


. . . . . .

Zookeeper

Figura: Zookeeper: servidor (lıder e seguidores) e clientes [1]


. . . . . .

Zookeeper

Operacoes da API para o cliente [1] [3]:

create(path, data, flags)

delete(path, version)

exists(path, watch)

getdata(path, watch)

setData(path, data, version)

getChildren(path, watch)

sync(path)

getACL(path)

setACL(path, ACL)


. . . . . .

Zookeeper

Quem usa [10]:

Yahoo!

Rackspace - empresa de servicos de e-mail, de computacao em nuvem

HBASE - base de dados do Hadoop, equivalente ao Bigtable daGoogle

Eclipse - framework open source da IBM


. . . . . .

Agenda

.. .1 Agenda

.. .2 Introducao


.. .4 MapReduce

.. .5 Zookeeper



. . . . . .

Referencias Bibliograficas I

Hunt, P. Konar, M. Junqueira, F. P. Reed, B.Zookeeper: Wait-free coordination for internet-scale systems.In USENIX ATC ’10: Proceedings of the Usenix Annual TechnicalConference, Berkeley, CA, USA, 2010. USENIX Association.

Moynihan, D.When i was 7, i wanted to be a zookeeper.URL=http://danmoynihan.blogspot.com/2009/01/when-i-was-7-i-wanted-to-be-zookeeper.html. Acessado em 08 de agosto de2010.

Apache Software Foundation.Hdfs architecture.URL=http://hadoop.apache.org/common/docs/current/hdfs design.html.Acessado em 08 de maio de 2010.


. . . . . .

Referencias Bibliograficas II

Noll, M. G.Writing an hadoop mapreduce program in python.URL=http://www.michael-noll.com/wiki/Writing An Hadoop MapReduce Program In Python.Acessado em 08 de agosto de 2010.

Grigorik, I.Distributed coordination with zookeeper.URL=http://www.igvita.com/2010/04/30/distributed-coordination-with-zookeeper. Acessado em 08 de agosto de2010.


. . . . . .

Referencias Bibliograficas III

Lin, J.lectures of 2008 cloud computing course - from lisp to mapreduce andgfs.URL=http://www.umiacs.umd.edu/ jimmylin/cloud-2008-Spring/Session2.ppt. Acessado em 08 de agosto de2010.

White, T.Hadoop: The Definive Guide, chapter 1, 2, 3, pages 1–74.O’Reilly, Sebastopol, CA, USA, 2009.

Google Code University.Introduction to parallel programming and mapreduce.URL=http://code.google.com/intl/pt-BR/edu/parallel/mapreduce-tutorial.html. Acessado em 08 de agosto de2010.


. . . . . .

Referencias Bibliograficas IV

Hadoop Wiki.Hadoop wiki - poweredby.URL=http://wiki.apache.org/hadoop/PoweredBy. Acessado em 08 demaio de 2010.

Zookeeper Wiki.Zookeeper wiki - poweredby.URL=ttp://wiki.apache.org/hadoop/ZooKeeper/PoweredBy.Acessado em 08 de agosto de 2010.


Documents

Hadoop: HDFS, MapReduce e ZooKeeperra100582/mc715/apresenta.pdf · ..1 Agenda...2 Introdu¸cão...3 Hadoop File System...4 MapReduce...5 Zookeeper...6 Referências Bibliográficas