Grid Computing Prof. Dr. Cludio F. R. Geyer Instituto de Informtica – UFRGS

  • View
    105

  • Download
    1

Embed Size (px)

Text of Grid Computing Prof. Dr. Cludio F. R. Geyer Instituto de Informtica – UFRGS

  • Slide 1
  • Grid Computing Prof. Dr. Cludio F. R. Geyer Instituto de Informtica UFRGS
  • Slide 2
  • Grid Computing 2 Histrico Pessoal Processamento Paralelo e Distribudo Projeto HetNOS Ian Foster e Carl Kesselman: Grenoble (1996), SBAC, PDPA, Global Supercomputing,... CC++ Grid (livro, eds I. Foster e C. Kesselman) Projeto HEP (2000) Projeto ISAM GRID: combina SD e HPC
  • Slide 3
  • Grid Computing 3 Sumrio Introduo ao Grid Computing Uma Experincia Real: Globus Toolkit Grid Computing no Brasil
  • Slide 4
  • 4 Introduo ao Grid Computing
  • Slide 5
  • Grid Computing 5 Histrico primeira proposta em 1989, por Larry Smarr do projeto CASA (USA) metacomputing = compartilhamento, ao em comum. a partir de 1995, comeam a surgir propostas de ferramentas para computao distribuda na Web. FAFNER e I-WAY atualmente, centenas de universidades e empresas ao redor do mundo esto envolvidas em projetos nessa rea.
  • Slide 6
  • Grid Computing 6 Conceitos em Grid Computing Metacomputador/Grid Grid problem Organizaes virtuais Protocolos intergrid Computao in home Grid X HPC Comunidade Grid
  • Slide 7
  • Grid Computing 7 Grid Problem Coordenao Compartilhamento de recursos Soluo de problemas Diversas organizaes virtuais de multiinstituies Recursos e VO espalhados geograficamente No h controle central No h conhecimento total Confiana mtua entre as VOs
  • Slide 8
  • Grid Computing 8 Tecnologias atuais SOR (Windows 2000 server, Linux de rede,...) Web Servidores de aplicaes Servidores de armazenamento Servidores de cpu (ciclos) Middlewares clssicos e novos (DCE, CORBA, J2EE,.Net,...) No atendem (boa parte) os requisitos
  • Slide 9
  • Grid Computing 9 Organizaes virtuais Servidores de aplicaes, servidores de armazenamento, servidores de cpu, e consultores Engajados por um fabricante de carros na avaliao de uma nova fbrica Membros de de um consrcio industrial projetando e avaliando uma nova aeronave Equipe de gerncia de crises (catstrofes, eventos) planejando a resposta a um novo tipo de evento (ataque de 11/setembro) Diversos departamentos de pesquisa em fsica tratando diversos problemas relacionados, sobre a mesma base de dados
  • Slide 10
  • Grid Computing 10 Um exemplo: soluo do NUG30 NUG30 quadratic assignment problem Colaborao informal entre matemticos, cientistas e pesquisadores em computao Condor-G conseguiu 3.46E8 segundos de cpu em 7 dias (pico: 1009 processadores) nos EUA e Itlia (8 sites)
  • Slide 11
  • Grid Computing 11 Principais Componentes Dispositivos de Fbrica clustersarmazenamentoinstrumentos... recursos compartilhados entre OV SObibliotecasTCP, UDP, IP... gerenciadores de recursos locais servios bsicos comunicao seguranainformao acesso a dados QoS Middleware ferramentas e ambientes de desenvolvimento linguagensdepuradoresORBsWeb Ferramentas bibliotecas... aplicaes e portais cientficasengenhariaPSE Aplicaes colaborativas... Web based
  • Slide 12
  • Grid Computing 12 Principais Componentes Dispositivos de fbrica recursos locais compartilhados dentro do grid Middleware fornecimento de servios bsicos para a utilizao dos recursos do grid Ferramentas desenvolvimento de ambientes para a construo de aplicaes para grids Aplicaes diversidade de requisitos, multidisciplinariedade
  • Slide 13
  • Grid Computing 13 Princpios Usar protocolos padres existentes Usar solues comuns (padres) principalmente as locais Escalonadores, servidores de arquivos,... Protocolos e API bem definidos Protocolo: interoperabilidade API: portabilidade Simples (vide IP, TCP) Diferenciar API locais e remotas Padronizar
  • Slide 14
  • Grid Computing 14 Grid Computing: Principais Aspectos Modelo de programao Gerncia de recursos Segurana Informao Acesso remoto a dados Tolerncia a falhas Anlise de desempenho e QoS Gerncia de executveis,...
  • Slide 15
  • Grid Computing 15 Grid Computing: Principais Aspectos Modelo de programao aplicaes devem ser flexveis, tolerantes a falhas e adaptadas latncia de comunicao entre os recursos do grid cada aplicao deve expor suas necessidades computacionais e expectativas referentes a desempenho, confiabilidade, etc. auxlio na alocao de recursos deve-se prever o uso de diferentes protocolos, modelos de comunicao e ferramentas
  • Slide 16
  • Grid Computing 16 Gerncia de recursos cadastro configurao busca (descoberta) alocao monitoramento Grid Computing: Principais Aspectos
  • Slide 17
  • Grid Computing 17 Motivao para segurana Informaes sensveis e recursos de alto valor Delegao necessria Protocolos padres atuais no satisfazem Grid Computing: Principais Aspectos
  • Slide 18
  • Grid Computing 18 Grid Computing: Principais Aspectos Segurana cadastro de usurios autenticao nica (single sign on) respeito s polticas proprietrias (uso e acesso) de cada recurso estabelecimento de relaes e domnios de confiana emprego de criptografia
  • Slide 19
  • Grid Computing 19 Gerenciamento de Informaes Servios para registro e obteno de informaes sobre a estrutura, os recursos, os servios e o estado de cada componente dentro do grid. Forte interao com os servios de alocao e descoberta de recursos Dinmicas e estticas (totalmente: no existem) Onde existe um cluster com 32 P4 > 1.2 dual? Qual o estado de ocupao do SP2 com 128 ns? Grid Computing: Principais Aspectos
  • Slide 20
  • Grid Computing 20 Acesso remoto a dados necessidade de acesso a arquivos distribudos entre vrios servidores e/ou bancos de dados servio que fornea um espao de nomeao global, suporte diferentes protocolos de E/S, exija pouco esforo de programao e permita otimizaes, tal como uso de cache replicao Grid Computing: Principais Aspectos
  • Slide 21
  • Grid Computing 21 Tolerncia a falhas natureza dinmica do grid necessidade de monitoramento do estado de cada recurso (de hardware e software) dentro do grid forte interao com servios de alocao e escalonamento Grid Computing: Principais Aspectos
  • Slide 22
  • Grid Computing 22 Anlise de desempenho e QoS mecanismos para a avaliao dos servios prestados pelo grid relao exigncias das aplicaes X capacidades dos recursos monitoramento de desempenho validao de critrios de alocao Grid Computing: Principais Aspectos
  • Slide 23
  • Grid Computing 23 Gerncia de executveis armazenamento localizao transferncia entre recursos suporte linguagens de scripts Executveis portveis Java.Net? Grid Computing: Principais Aspectos
  • Slide 24
  • Grid Computing 24 Usurios donos de recursos administradores de sistemas desenvolvedores (servios e ferramentas) usurios finais Grid Computing: Principais Aspectos
  • Slide 25
  • Grid Computing 25 Grid Computing: Principais Aspectos Aplicaes computao distribuda computao de alto desempenho computao sob demanda computao intensiva de dados computao colaborativa
  • Slide 26
  • Grid Computing 26 Taxonomia Escalonadores Nimrod/G AppLes Condor/G Ninf DISCWorld SILVER ST-ORM PC 2 Portais UNICORE XCAT JiPANG PUNCH Economia Grace CPM Mariposa FORTH Share Meta DAgent Data grids CERN GriPhyN Particle Physics DIDC http://www.gridcomputing.com/ Grid Computing: Principais Aspectos
  • Slide 27
  • Grid Computing 27 Sistemas XtremWeb Javelin MILAN HARNESS PUNCH MoBiDiCK MetaNEOS MultiCluster Taxonomia Ambientes MetaMPI DCE GrADS Java CoG Kit ProActive PDC REDISE JACO3 Cactus Middleware Globus Legion NetSolve GRACE Testbeds Polder NASA IPG NPACI DAS GUSTO SF-Express distributed.net SETI@home Grid Computing: Principais Aspectos
  • Slide 28
  • Grid Computing 28 Global Grid Forum Global Grid Forum: Desenvolvimento de protocolos e APIs padres para computao Grid www.gridforum.org 2 ou mais workshops anuais Centenas de participantes
  • Slide 29
  • Grid Computing 29 Referncias: conceituais/surveys checkpoint list: http://www.gridtoday.com/02/0722/100136.html BUYYA - {The Grid}: International Efforts in Global Computing : http://www.cs.mu.oz.au/~raj/papers/TheGrid.pdf ROURE, - {T}he Evolution of the {G}rid : http://www.semanticgrid.org/documents/evolution/evo lution.pdf NEMETH, - {A} comparison of conventional distributed computing environments and computational grids : http://www.mathcs.emory.edu/harness/pub/general/zs olt1.ps.gz
  • Slide 30
  • 30 Uma Experincia Real: Globus Toolkit
  • Slide 31
  • Grid Computing 31 Globus Objetivos Modelo, arquitetura, protocolos, API,... Prottipo: Globus Metacomputing Toolkit Avaliao de aplicaes reais GUSTO (testbed) Locais Argonne, DOE, Chicago Caltech e USC (Los Angeles, CA) Ian Foster e Carl Kesselman Um dos mais usados e referenciados Confunde-se com Grid (arquitetura) Projetos europeus: uso do Globus
  • Slide 32
  • Grid Computing 32 Uma Experincia Real cluster aplicaes paralelas/distribudas (ex. SF-Express) Comunicao (Nexus) Gerncia de recursos (GRAM - DUROC, RSL) Segurana e autenticao (GSI) Monitoramento (HBM) Acesso remoto a dados (GASS, GridFTP, RIO) Gerncia de executveis (GEM) Globus Metacomputing Toolkit (GMT) Internet/Rede de comunicao Informao (MDS,GRIS, GIIS) GUSTONASA IPGNPACIData Grid
  • Slide 33
  • Grid Computing 33 Uma Experincia Real Princpios Camadas Protocolos e APIs Mdulos opcionais Uso de solues padres Locais Comunicao atual: MPICH
  • Slide