Computação Distribuída de Alto Desempenho · Aula 1. Redes de Computadores e Arquitetura de Processadores Aula 2. Processamento Distribuído, Cluster e Grid Aula 3. Linguagens

VI Escola do CBPF - 2006 1

ComputaComputaçção Distribuão Distribuíída da de Alto Desempenhode Alto Desempenho

Marcelo Marcelo GiovaniGiovani

Marcelo Portes AlbuquerqueMarcelo Portes Albuquerque

Nilton Alves Jr.Nilton Alves Jr.

CoordenaCoordenaçção de Atividades Tão de Atividades Téécnicas cnicas –– CAT/CBPF/MCTCAT/CBPF/MCT

VI Escola do CBPFVI Escola do CBPF


Aula 1. Redes de Computadores e Arquitetura de ProcessadoresAula 1. Redes de Computadores e Arquitetura de Processadores

Aula 2. Processamento DistribuAula 2. Processamento Distribuíído, Cluster e do, Cluster e GridGrid

Aula 3. Linguagens de ProgramaAula 3. Linguagens de Programaççãoão

Aula 4. LaboratAula 4. Laboratóório de Linguagem C/C++rio de Linguagem C/C++

Aula 5. LaboratAula 5. Laboratóório Biblioteca MPIrio Biblioteca MPI

G5 G5 –– ComputaComputaçção Distribuão Distribuíídadade Alto Desempenhode Alto Desempenho

• História, conceitos básicos e protocolos de rede de computadores• Endereçamento, equipamentos e funcionamento.

• Comparações entre arquiteturas de computadores de 32 e 64 bits:

•Filme: Warriors, Aeroporto, IMAX Discovery

• História, conceitos básicos e protocolos de rede de computadores• Endereçamento, equipamentos e funcionamento.

• Comparações entre arquiteturas de computadores de 32 e 64 bits:

•Filme: Warriors, Aeroporto, IMAX Discovery

• Conceitos básicos: paralelismo, concorrência, granularidade, speedup e eficiência, pipeline, classificação Flynn• Topologias de comunicação, tipos de cluster, cluster Beowulf, computação em Grid, sistemas Globus e Condor

• Apresentação do Cluster atual de 32bits e futuro de 64bits do CBPF

• Conceitos básicos: paralelismo, concorrência, granularidade, speedup e eficiência, pipeline, classificação Flynn• Topologias de comunicação, tipos de cluster, cluster Beowulf, computação em Grid, sistemas Globus e Condor

• Apresentação do Cluster atual de 32bits e futuro de 64bits do CBPF

• História das Linguagens de Programação • Sete elementos básicos da programação estruturada

• Programação Orientada a Objetos • Programação estruturada versus orientação objeto• Linguagens de programação paralela MPI, CHARM

• Filme: NEC, PCI-Express

• História das Linguagens de Programação • Sete elementos básicos da programação estruturada

• Programação Orientada a Objetos • Programação estruturada versus orientação objeto• Linguagens de programação paralela MPI, CHARM

• Filme: NEC, PCI-Express

• Resolução de equação do segundo grau• Resolução de equação do segundo grau

• Resolução de Integral definida: 1 e 5 processadores• Resolução de Integral definida: 1 e 5 processadores


Redes Redes de de

ComputadoresComputadores


Alexandre Urtado de AssisAlexandre Urtado de Assis

CBPF/MCT, RedeRio/FAPERJCBPF/MCT, RedeRio/FAPERJ


4VI Escola do CBPF - 2006

Redes de ComputadoresRedes de Computadores

Conjunto de dispositivos interligados fisicamenteConjunto de dispositivos interligados fisicamenteQue compartilham serviQue compartilham serviçços e trocam informaos e trocam informaççõesões

Base de dados Impressora

ICQ

E-mail


HistHistóóricorico

InIníício da dcio da déécada de 60: cada de 60: Universidades desenvolvem sistemas de Universidades desenvolvem sistemas de compartilhamento de recursos computacionaiscompartilhamento de recursos computacionais

Em 1969:Em 1969:Interesse Militar atravInteresse Militar atravéés da crias da criaçção da ARPANETão da ARPANET

Em 1977: Em 1977: CriaCriaçção do modelo OSI (ão do modelo OSI (Open Open SystemsSystems InterconnectionInterconnection) ) pela ISO (pela ISO (InternationalInternational OrganizationOrganization for for StandardizationStandardization) ) para permitir a interoperabilidade entre as diversas para permitir a interoperabilidade entre as diversas plataformas.plataformas.


O Modelo OSIO Modelo OSI

CriaCriaçção de um modelo de Referênciaão de um modelo de ReferênciaPara interoperabilidade entre os diversos fabricantesPara interoperabilidade entre os diversos fabricantes

Utilizava o mUtilizava o méétodo de todo de ““dividir para conquistardividir para conquistar””Criava o conceito de camadas, onde:Criava o conceito de camadas, onde:

Cada camada utiliza os serviCada camada utiliza os serviçços oferecidos pela camada os oferecidos pela camada imediatamente inferior para implementar e oferecer os seus imediatamente inferior para implementar e oferecer os seus serviserviçços os àà camada imediatamente superiorcamada imediatamente superiorCada camada do dispositivo origem faz requisiCada camada do dispositivo origem faz requisiçções para a ões para a mesma camada no dispositivo destinomesma camada no dispositivo destinoCada camada se restringe a seus serviCada camada se restringe a seus serviçços, sem se preocupar os, sem se preocupar com os servicom os serviçços das demaisos das demais


Modelo OSI Modelo OSI –– CamadasCamadas

Transporte

Enlace

Aplicação

Física

Rede

Seção

ApresentaçãoCamada 6Camada 6

Camada 4Camada 4

Camada 5Camada 5

Camada 1Camada 1

Camada 2Camada 2

Camada 3Camada 3

Camada 7Camada 7


Modelo OSI Modelo OSI –– EmpacotamentoEmpacotamento


Camada 1 Camada 1 -- FFíísicasica

Transporte

Enlace

Aplicação

Física

Rede

Seção

Apresentação

Transmissão de bits através de um canal de comunicaçãoEspecifica as características do meio físico e da transmissão do sinal

ConectoresPinagemNíveis de tensãoDimensões físicasCaracterísticas mecânicasCaracterísticas elétricas.


Camada 2 Camada 2 -- EnlaceEnlace

Transporte

Enlace

Aplicação

Física

Rede

Seção

Apresentação

Agrupa os bits recebidos no nível físico em quadros (frames)

Tais quadros são delimitados

Detecta e corrige possíveis erros ocorridos na transmissão

Endereça equipamentos na rede (endereço MAC)

Faz o controle de utilização do meio de comunicação


Camada 3 Camada 3 -- RedeRede

Transporte

Enlace

Aplicação

Física

Rede

Seção

Apresentação

É responsável pelo roteamento de pacotes através da rede.

O roteamento é baseado em um mecanismo de endereçamento global – IP, que identificam unicamente cada máquina.

Implementa mecanismos de controle de congestionamento.


Camada 4 Camada 4 -- TransporteTransporte

Transporte

Enlace

Aplicação

Física

Rede

Seção

Apresentação

Fornece comunicação fim a fim confiável

Segmentação e remontagem de mensagens, protocolos TCP e UDP

Implementa mecanismos de controle de fluxo fim a fim

Implementa controle e recuperação de erro fim a fim


Camada 5 Camada 5 -- SessãoSessão

Transporte

Enlace

Aplicação

Física

Rede

Seção

Apresentação

Estabelece e encerra os enlaces de comunicação

Prevê mecanismos de controle de diálogo entre os sistemas

Implementa mecanismos de recuperação de falhas em caso de interrupções


Camada 6 Camada 6 -- ApresentaApresentaççãoão

Transporte

Enlace

Aplicação

Física

Rede

Seção

Apresentação

Compactação/descompactação de dados

Criptografia

Converte os dados em um formato de representação universal


Camada 7 Camada 7 -- AplicaAplicaççãoão

Transporte

Enlace

Aplicação

Física

Rede

Seção

Apresentação

Funciona como uma interface de ligação entre os processos de comunicação de rede e as aplicações utilizadas pelo usuário.


O modelo TCP/IPO modelo TCP/IP

Desenvolvido pelo Departamento de Defesa Desenvolvido pelo Departamento de Defesa Americano (DARPA)Americano (DARPA)Padrão prPadrão prááticoticoEvoluEvoluçção da ARPANET ão da ARPANET

Arquitetura baseada no Arquitetura baseada no conceito de interconexãoconceito de interconexãode redes (interde redes (inter--redes)redes)


Camadas TCP/IPCamadas TCP/IP


Camadas do protocolo TCP/IPCamadas do protocolo TCP/IP

AplicaAplicaçção:ão:Camada mais altaCamada mais altaProtocolos de aplicaProtocolos de aplicaçções clientes e servidores ões clientes e servidores HTTPHTTP, , FTPFTP, , SMTPSMTP, , POPPOP

Transporte:Transporte:Estabelece comunicaEstabelece comunicaçções fim a fimões fim a fim

com garantia de entrega (com garantia de entrega (TCPTCP) ) sem garantia de entrega (sem garantia de entrega (UDPUDP).).

Internet:Internet:EndereEndereççamento e roteamento de pacotes (amento e roteamento de pacotes (IPIP))envio de mensagens de controle (envio de mensagens de controle (ICMPICMP))ResoluResoluçção de endereão de endereçços de hardware (os de hardware (ARPARP))

Rede:Rede:Camada mais baixa de acesso ao meio fCamada mais baixa de acesso ao meio fíísicosicoEthernetEthernet, , ATMATM, , Frame Frame RelayRelay, , TokenToken RingRing


EndereEndereççamento IPamento IP

O IP O IP -- Internet Protocol Internet Protocol define um define um endereço de identificação único para a InternetEndereEndereççamento hieramento hieráárquico dividido em duas rquico dividido em duas partes:partes:

Network Network IDIDHost Host IDID Host Host IDIDNetwork Network IDID

Parte comum a todas as estações de uma mesma rede


EndereEndereççamento IPamento IP

Cada equipamento dentro de uma rede precisa de um Cada equipamento dentro de uma rede precisa de um Host ID Host ID úúnico.nico.EndereEndereçço possuem 32 bits (4 bytes)o possuem 32 bits (4 bytes)

10011000 01010100 00110010 1101011110011000 01010100 00110010 11010111

152.84.50.215152.84.50.215

152152 8484 5050 215215


Divisão dos endereDivisão dos endereçços IPos IP

Os endereOs endereçços IP foram divididos em 5 classe:os IP foram divididos em 5 classe:A, B, C, D, EA, B, C, D, EAs classes se diferenciam pelos bits iniciaisAs classes se diferenciam pelos bits iniciaisE pela quantidade de bits para E pela quantidade de bits para NetworkNetworkIDID e e HostHostIDID


EndereEndereçços Especiaisos Especiais

LocalhostLocalhost::O endereO endereçço o localhostlocalhost ou ou loopbackloopbackO endereO endereçço reservado 127.0.0.1o reservado 127.0.0.1

EndereEndereçço de rede:o de rede:O endereO endereçço de rede o de rede éé composto por todos os bits composto por todos os bits HostHostIDIDiguais a 0.iguais a 0.Ex.: 130.239.0.0Ex.: 130.239.0.0

Broadcast:Broadcast:O endereO endereçço o broadcastbroadcast possibilita o envio de um determinado possibilita o envio de um determinado pacote para todas os dispositivos de uma mesma rede.pacote para todas os dispositivos de uma mesma rede.ÉÉ representado por todos os bits do representado por todos os bits do HostHostIDID iguais a 1.iguais a 1.Ex.: 130.239.255.255Ex.: 130.239.255.255


Classes de endereClasses de endereçços os –– Classe AClasse A

EndereEndereçços:os:1.0.0.0 a 126.0.0.01.0.0.0 a 126.0.0.0Redes reservados:Redes reservados:127.0.0.0 e 0.0.0.0127.0.0.0 e 0.0.0.0Rede Invalida:Rede Invalida:10.0.0.010.0.0.0

Host Host IDIDNetwork Network IDID

8 bits 24 bits

hhhhhhhhhhhhhhhh hhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhh0nnnnnnn0nnnnnnn

126 redes126 redes 16.777.214 hosts16.777.214 hosts


Classes de endereClasses de endereçços os –– Classe BClasse B

EndereEndereçços:os:128.0.0.0 a 128.0.0.0 a 191.255.0.0191.255.0.0Redes InvRedes Inváálidas:lidas:172.16.0.0 a 172.16.0.0 a 172.31.255.255172.31.255.255

16 bits 16 bits

hhhhhhhhhhhhhhhh hhhhhhhhhhhhhhhhnnnnnnnnnnnnnnnn10nnnnnn10nnnnnn

16.384 redes16.384 redes 65.536 hosts65.536 hosts

Network Network IDID Host Host IDID


Classes de endereClasses de endereçços os –– Classe CClasse C

EndereEndereçços:os:192.0.1.0 a 192.0.1.0 a 223.255.255.0223.255.255.0Redes InvRedes Inváálidas:lidas:192.168.0.0 a 192.168.0.0 a 192.168.255.255 192.168.255.255

Host Host IDIDNetwork Network IDID

8 bits24 bits

nnnnnnnnnnnnnnnn hhhhhhhhhhhhhhhhnnnnnnnnnnnnnnnn110nnnnn110nnnnn

256 hosts256 hosts2.097.1522.097.152 redesredes


Classes de endereClasses de endereççosos

Classe DClasse D11101110gggg gggg gggggggggggggggg gggggggggggggggg ggggggggggggggggUsado para MulticastUsado para Multicast

EndereEndereçços:os:224.0.0.0 at224.0.0.0 atéé 239.255.255.255239.255.255.255

Classe EClasse E11111111xxxx xxxx xxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxReservado para uso futuroReservado para uso futuroEndereEndereçços:os:240.0.0.0 a 247.255.255.255240.0.0.0 a 247.255.255.255


MMááscara de redescara de rede

EndereEndereçço de 32 bits o de 32 bits Identifica o Identifica o NetworkNetworkIDID do enderedo endereçço IPo IPUma mUma mááscara de rede possui bits scara de rede possui bits ‘‘11’’ para identificar a para identificar a NetworkNetworkIDID e bits e bits ‘‘00’’ para identificar o para identificar o HostHostIDID..

11111111 11111111 00000000 0000000011111111 11111111 00000000 00000000

255255 255255 00 00


MMááscara de Rede scara de Rede -- ANDingANDing

ANDingANDing éé um processo interno que define se IP local um processo interno que define se IP local pertence a mesma rede de um IP destino.pertence a mesma rede de um IP destino.

IPIP 11001000 11111111 00100001 11000111 11001000 11111111 00100001 11000111 (200.255.33.190)(200.255.33.190)MMááscarascara 11111111 11111111 11111111 00000000 11111111 11111111 11111111 00000000 (255.255.255.0)(255.255.255.0)

ResultadoResultado 11001000 11111111 00100001 00000000 11001000 11111111 00100001 00000000 (200.255.33.0)(200.255.33.0)

ifif ((Resultado IP destinoResultado IP destino ==== Resultado IP localResultado IP local))printfprintf((““IPIP´́ss são da mesma redesão da mesma rede””););

elseelse

printfprintf((““IPIP´́ss de redes diferentesde redes diferentes””););


SubSub--redesredes

A alocaA alocaçção de endereão de endereçços baseada em classes gera os baseada em classes gera problemas de desperdproblemas de desperdíício de enderecio de endereççososPara melhor aproveitamento dos enderePara melhor aproveitamento dos endereçços os muitas redes são divididas em submuitas redes são divididas em sub--redes redes PrPráática comum quando as redes envolvidas são tica comum quando as redes envolvidas são muito grandesmuito grandesNeste caso, o endereNeste caso, o endereçço da mo da mááscara de rede scara de rede tambtambéém deve ser alteradom deve ser alterado


MMááscara de Subscara de Sub--rederede

A mA mááscara de subscara de sub--rede rede éé determinada com base determinada com base nos bits extras utilizados para enderenos bits extras utilizados para endereççar as ar as subsub--resdesresdes

Ex.: 2 bitsEx.: 2 bits200 . 20 . 32 . 65 200 . 20 . 32 . 65 /26/26

11111111 11111111 11111111 11 0000000011111111 11111111 11111111 11 00000000

255.255.255.192255.255.255.192NetworkID ID de sub-rede HostID


SubSub--rede classe Crede classe C

Aplicar o conceito de subAplicar o conceito de sub--redes a uma classe C significa usar o redes a uma classe C significa usar o úúltimo octeto não sltimo octeto não sóó para identificar os hosts como tambpara identificar os hosts como tambéém m para identificar as subpara identificar as sub--redes.redes.A mA mááscara padrão scara padrão éé 255.255.255.0 e dever255.255.255.0 e deveráá serser

001281281177255.255.255.254255.255.255.2542264642266255.255.255.252255.255.255.2526632323355255.255.255.248255.255.255.248141416164444255.255.255.240255.255.255.2403030885533255.255.255.224255.255.255.2246262446622255.255.255.192255.255.255.192126126227711255.255.255.128255.255.255.128

Hosts por redeHosts por redeNNúúmero de redesmero de redesBit hostsBit hostsBit subBit sub--rederedeMMááscarascara


ARPARP

Address Address ResolutionResolution ProtocolProtocol éé responsresponsáável pela descoberta do vel pela descoberta do endereendereçço fo fíísico (enderesico (endereçço MAC) correspondente ao IP destinoo MAC) correspondente ao IP destino

RoteadorPara mesma rede

A B C D E

Quem é D?D responde com o MACA envia a mensagem para D


ARPARP

Address Address ResolutionResolution ProtocolProtocol éé responsresponsáável pela descoberta do vel pela descoberta do endereendereçço fo fíísico (enderesico (endereçço MAC) correspondente ao IP destinoo MAC) correspondente ao IP destino

RoteadorPara uma rede diferente

A B C D E

Quem é o roteador?O roteador responde com o MACA envia a mensagem para o roteador

reparssar ao destino


Processadores Processadores de de

32 e 64 bits32 e 64 bits

Marcelo Marcelo GiovaniGiovani




EvoluEvoluçção ão –– Lei de Lei de MooreMoore

42.000.000Pentium IV

35.000.000Athlon

21.000.000Pentium III

9.500.000Pentium II (98)

4.300.000Pentium MMX (97)

3.100.000Pentium (93)

1.200.000486 (89)

275.000386 (85)

134.000286 (82)

29.0008088 (79)

# TransístoresProcessador/Ano

Proc. Quânticos?2025

0,022015

0,072005

0,13Athlon Thoroughbred

0,13Pentiun 4 Northwood

0,18Athlon Thunderbird

0,22Celeron 366

0,25Pentium III 350MHz

0,40Pentium 166MHz

0,60Pentium 100MHz

0,80Pentium 60MHz

1486

38088 (79)

15Intel 4004 (71)

micronsProcessador/ano

• “The complexity for minimum component costs has increased at a rate ofroughly a factor of two per year ... Certainly over the short term this rate can beexpected to continue, if not to increase. Over the longer term, the rate ofincrease is a bit more uncertain, although there is no reason to believe it willnot remain nearly constant for at least 10 years. That means by 1975, thenumber of components per integrated circuit for minimum cost will be 65,000. I believe that such a large circuit can be built on a single wafer.“, Crammingmore components onto integrated circuits”, Gordon Moore, ElectronicsMagazine 19 april 1965.

• A densidade de transistores em um chip dobra a cada 18 meses.


16bits16bits

•“Nunca ninguém irá precisar de um PC com mais de 640 kbytes de memória”. (Willian Gates III, meados dos anos 80)

• Nem ele, o mago dos negócios da informática, conseguiu prever que os softwaresteriam uma forte escalada em seus requisitos de memória como de fato veio a acontecer.

• PCs rodando DOS 3.0, o 8088 da Intel, registradores de 16 bits, barramento de comunicação de 8 bits, enderaçamento de 1MByte de memória.

• Aplicações com >1MByte, EMS (memória expandida), blocos de 64KBytes

•“Nunca ninguém irá precisar de um PC com mais de 640 kbytes de memória”. (Willian Gates III, meados dos anos 80)

• Nem ele, o mago dos negócios da informática, conseguiu prever que os softwaresteriam uma forte escalada em seus requisitos de memória como de fato veio a acontecer.

• PCs rodando DOS 3.0, o 8088 da Intel, registradores de 16 bits, barramento de comunicação de 8 bits, enderaçamento de 1MByte de memória.

• Aplicações com >1MByte, EMS (memória expandida), blocos de 64KBytes


32bits32bits

• A história está sempre se repetindo.

• Migração para 32 bits em 1986, processador 386. O 386 foi um processadorextremamente revolucionário, pois além de permitir endereçar quantidades de memórias impensáveis para a época, trazia possibilidades de multitarefa, isolamento de aplicações etc.

• Os atuais Pentium IV ainda são processadores de 32 bits e assim podemos pensarneles como 386s bastante “anabolizados”, mais rápidos, mais instruções, masainda com as mesmas limitações de endereçamento de memória de 19 anos atrás.

• A história está sempre se repetindo.

• Migração para 32 bits em 1986, processador 386. O 386 foi um processadorextremamente revolucionário, pois além de permitir endereçar quantidades de memórias impensáveis para a época, trazia possibilidades de multitarefa, isolamento de aplicações etc.

• Os atuais Pentium IV ainda são processadores de 32 bits e assim podemos pensarneles como 386s bastante “anabolizados”, mais rápidos, mais instruções, masainda com as mesmas limitações de endereçamento de memória de 19 anos atrás.



• Para aplicações mais críticas, foi reinventada a “memória EMS” de vinte anosatrás. Principalmente em servidores que precisam mais de 2 Gbytes de memória.

• Na verdade o Windows consegue enxergar até 4 Gbytes, mas com o limitemáximo de 2 Gbytes para uma única aplicação.

• Super servidores de 32 bits com 8, 16 ou até 32 Gbytes de RAM, utilizam um esquema de paginação de memória semelhante ao que se usava no DOS 3.0!! Maiseficiente, mais sofisticado, mas na essência a mesma coisa.

• Para aplicações mais críticas, foi reinventada a “memória EMS” de vinte anosatrás. Principalmente em servidores que precisam mais de 2 Gbytes de memória.

• Na verdade o Windows consegue enxergar até 4 Gbytes, mas com o limitemáximo de 2 Gbytes para uma única aplicação.

• Super servidores de 32 bits com 8, 16 ou até 32 Gbytes de RAM, utilizam um esquema de paginação de memória semelhante ao que se usava no DOS 3.0!! Maiseficiente, mais sofisticado, mas na essência a mesma coisa.



• Intel Pentium IV EM64T: ultrapassa o limite de endereçamento de 4Gbytes alémde suportar algumas instruções de 64bits.

•AMD Athlon 64: suporta nativamente intruções de 32 e 64bits

• Intel ITANIUM: set de instruções completamente diferente do resto e visa um nicho muito específico que são máquinas para substituir outras mais caras de arquitetura RISC.

• AMD Opteron: semelhante ao Athlon64 porém, com características de servidor tais como L2 maior, capacidade de até 8 núcleos, cache dedicado para cada núcleo.

• Intel XEON: barramento bidirecional, cache compartilhado pelos núcleos, somente instruções de 64bits, emula 32bits.

• Intel Pentium IV EM64T: ultrapassa o limite de endereçamento de 4Gbytes alémde suportar algumas instruções de 64bits.

•AMD Athlon 64: suporta nativamente intruções de 32 e 64bits

• Intel ITANIUM: set de instruções completamente diferente do resto e visa um nicho muito específico que são máquinas para substituir outras mais caras de arquitetura RISC.

• AMD Opteron: semelhante ao Athlon64 porém, com características de servidor tais como L2 maior, capacidade de até 8 núcleos, cache dedicado para cada núcleo.

• Intel XEON: barramento bidirecional, cache compartilhado pelos núcleos, somente instruções de 64bits, emula 32bits.


Comparativo Comparativo OpteronOpteron x x XeonXeon

Documents

Computação Distribuída de Alto Desempenho · Aula 1. Redes de Computadores e Arquitetura de Processadores Aula 2. Processamento Distribuído, Cluster e Grid Aula 3. Linguagens