Computação Grid e infra-estruturas para e-ciência

Computação Grid e Infra-estruturas para e-Ciência

Grid computing and e-Infrastructures (Cyberinfrastructures)

Leandro N. [email protected]

Juiz de Fora, 12.06.2008

UFJF, 12.06.2008 2

O Problema

Bioinformática Astronomia

Clima /

previsões

UFJF, 12.06.2008 3

• Search for Extraterrestrial Intelligence • http://setiathome.berkeley.edu/• Screensaver

– Ciclos ociosos

• “volunteer computing“

Seti@Home (1999)

UFJF, 12.06.2008 4

• Frequentemente, um único computador ou mesmo supercomputadores não são suficientes para esses tipos de cálculos,tornando muito difícil, caro e às vezes impossível alcançar determinados objetivos

O Problema

UFJF, 12.06.2008 5

E-infrastructure shared between Europe and Latin America

• O maior experimento científico do mundo

Um problema maior ainda!

UFJF, 12.06.2008 6

~100m abaixo da terra

Túnel de 27 Km

LHC - Large Hadron Collider

UFJF, 12.06.2008 7

• 40.000.000 de colisões porsegundo em cada detector

• 15 Petabytes de dados por ano (~15.000.000 GB)

– ~ 21 milhões de CDROMs– 41TB por dia– 150 vezes todo conteúdo publicado

anualmente na WWW *


CMS

LHCb

ATLAS

ALICE

(*) Baseado em uma extimativa do vice-presidene de operações do Google

UFJF, 12.06.2008 8

• Seria necessário um cluster com ~100.000 CPUs• Os dados precisam estar disponíveis para milhares

de cientistas, independete da sua localização


UFJF, 12.06.2008 9

A Solução

Grid computing - Analogia à rede elétrica (electrical power grid)

UFJF, 12.06.2008 10

A metáfora do Grid

GRID

MIDDLEWARE

Visualising

Workstation

Mobile Access

Supercomputer, PC-Cluster

Data-storage, Sensors, Experiments

Internet, networks

UFJF, 12.06.2008 11

e-Ciência

• Espaço de armazenamento abundante

• Altíssimo poder de computação

• Colaboração com colegasdistantes, compartilhandorecursos, dados e resultados

Características

UFJF, 12.06.2008 12

Evolução tecnológica

* Sputnik

1960 1970 1975 1980 1985 1990 1995 2000

* ARPANET

* Email* Ethernet

* TCP/IP* IETF

* Internet Era * WWW Era

* Mosaic

* XML

* PC Clusters*Crays

* Mainframes

* HTML

* W3C

* P2P

* Grids

CO

MP

UTIN

GC

om

mu

nic

ati

on

* Web Services

* Minicomputers * PCs

* WS Clusters

* PDAs* Workstations

2010

* e-Science

Computing as Utility

* e-Business

* SocialNets

Controle Centralizado Controle Descentralizado

UFJF, 12.06.2008 13

Internet X Web X Grid

• INTERNET– Infra-estrutura de rede que conecta milhões de

computadores ao redor do mundo – TCP/IP– Década de 1970

UFJF, 12.06.2008 14


• World Wide Web– Serviço de compartilhamento de informações/documentos

construído no topo da Internet– Início década de 1990

UFJF, 12.06.2008 15


• Grid– Também é um serviço construído no topo da Internet, mas

vai um passo a diante…

– Na WWW, os computadores compartilham informações– Graças ao Grid, computadores serão capazes de compartilhar poder computacional e recursos como armazenamento de disco, aplicativos e base de dados.

UFJF, 12.06.2008 16

GRID

MIDDLEWARE

01011010110

- CPU - Memory- Disc - Input/Output

, o presente …O passado

A revolução do Grid

UFJF, 12.06.2008 17

A revolução do Grid

…O futuro

virtual services

virtual

services

virtual

services

virtual services

virtual s

ervice

s

virtual s

ervices

Cenário em 2007

UFJF, 12.06.2008

Investimentos da UE

€Bi.

UFJF, 12.06.2008

Projeto EGEE

• Coordenado pelo CERN• 32 países• 91 instituições • Orçamento de 35+ M€

• > 35.000 CPUs• ~ 2.500 TB storage• > 50.000 jobs per day

www.eu-egee.org

UFJF, 12.06.2008

Projeto EGEE

UFJF, 12.06.2008

Projeto EGEE - Aplicações

• Variado domínios científicos– Arqueologia– Astrofísica– Química– Geofísica– Física de Altas Energias– Engenharia– Simulações Financeiras– Biologia– Genética

http://indico.cern.ch/conferenceTimeTable.py?confId=22351

UFJF, 12.06.2008

Rede GÉANT2

USA

Latin America

Asia

South-East Europe

Mediterranean Area

UFJF, 12.06.2008 24

“Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster)

Mapa das Redes

UFJF, 12.06.2008 25


RedCLARA

RNP-BRREUNA-CL

CUDI-MX

RAAP-PE

REACCIUN-VE

www.redclara.net

UFJF, 12.06.2008 26

LA Country NREN organisation

Maximum national connections:backbone links | access links

External capacity through International R&E networks

Argentina Innova-Red 34 Mbps 90 Mbps RedCLARA

Bolivia ADSIB 128 kbps n/a

Brazil RNP 10 Gbps 1 Gbps 155 Mbps RedCLARA + 900 Mbps USA

Chile REUNA 310 Mbps 10 Mbps 90 Mbps RedCLARA

Colombia RENATA 10 Mbps 10 Mbps 10 Mbps RedCLARA

Costa Rica CR2Net 512 kbps n/a

Cuba RedUniv 2 Mbps n/a

Ecuador CEDIA 45 Mbps 10 Mbps RedCLARA

El Salvador RAICES 10 Mbps RedCLARA

Guatemala RAGIE 100 Mbps 100 Mbps 10 Mbps RedCLARA

Honduras HONDUnet n/a

Mexico CUDI 155 Mbps 34 Mbps 34 Mbps RedCLARA, 1 Gbps USA

Nicaragua RENIA 100 Mbps n/a

Panama RedCYT 45 Mbps RedCLARA

Peru RAAP 10 Mbps 45 Mbps RedCLARA

Uruguay RAU 1 Mbps 34 Mbps RedCLARA

Venezuela REACCIUN 155 Mbps 34 Mbps 45 Mbps RedCLARA + 45 Mbps USA

UFJF, 12.06.2008 27

O Projeto EELA

E-science grid facility for Europe and Latin America

UFJF, 12.06.2008 28

O Projeto EELA• Argentina (JRU)

– 3 members (coord. LINTI-UNLP )• Brasil (JRU)

– 15 members (coord. UFRJ)• Chile (JRU)

– 7 members (coord. REUNA)• Colombia (JRU)

– 2 members (coord. UNIANDES)• Cuba (CUBAENERGIA)• Equador (UTPL)• França (JRU)

– 2 members (coord. CNRS)• Irlanda (UCC-CMRC)• Italia (INFN)• Mexico (UNAM)• Peru (JRU)

– 4 members (coord. SENAMHI)• Portugal (JRU)

– 3 members (coord. UPORTO)• Espanha (JRU)

– 8 members (coord. CIEMAT)• Venezuela (JRU)

– 2 members (coord. ULA)• Internacional (CLARA)

UFJF, 12.06.2008 29

EELA em 1 slide

• Pesquisadores querendo realizar pesquisas em conjunto com outros colegas/instituições

• Infra-estrutura: centros de computação na UE e na América Latina

• Aplicações e dados científicos(HEP, Biomed, e-Learning, Clima)

www.eu-eela.eu

UFJF, 12.06.2008 30

• 47 aplicações (13 no projeto precedente)

• Ap. voltadas para problemas da América Latina

El NiñoMalaria E-learning

Aplicações

http://applications.eu-eela.eu

UFJF, 12.06.2008 31

Centros de computação - EELA

EELA countries

stand-alone Grid site

• ~ 1100 CPUs• ~ 60 TB storage

UFJF, 12.06.2008 32

Centros de computação – EELA-2

• ~ 3000 CPUs• ~ 700 TB storage

UFJF, 12.06.2008 33

Conceitos básicos

UFJF, 12.06.2008

Middleware

• Software de mediação”

• Grid Middlewares– gLite

http://glite.web.cern.ch/glite/

– Globus Toolkithttp://www.globus.org

– Condorhttp://www.cs.wisc.edu/condor/

– UNICOREhttp://www.unicore.eu

– OMII-UKhttp://www.omii.ac.uk

– Etc…

UFJF, 12.06.2008 35

Preocupação com a segurança (1/4)

UFJF, 12.06.2008 36


1

1. Solicitar seu certificado digital à um CA (Certification Authority) certificado pelo IGTF (International Grid Trust Federation)

2. Carregar o certificado no browser3. Aceitar os “Termos de Uso” do Grid4. Solicitar sua inscrição em uma das VOs

(Virtual Organization) disponíveis para o Grid em questão

2

3 4

UFJF, 12.06.2008 37


• Seu certificado é sua chave para acessar o Grid• Certificado X.509• Criptografia de chaves pública e privada

• Chave pública: distribuída livremente

• Chave privada: apenas o dono a possui

OBS: todos os atores em um Grid (usuários, PCs, instrumentos...) precisam de um certificado

UFJF, 12.06.2008 38


• Conteúdo de um certificado X.509:

– Chave pública do usuário

– Identidade do usuário

– Informações sobre o CA

– Validade

– Número de serie

– Assinatura Digital do CA

Public keyPublic key

Subject:C=CH, O=CERN, Subject:C=CH, O=CERN, OU=GRID, CN=Andrea Sciaba OU=GRID, CN=Andrea Sciaba 89688968

Issuer: C=CH, O=CERN, Issuer: C=CH, O=CERN, OU=GRID, CN=CERN CAOU=GRID, CN=CERN CA

Expiration date: Aug 26 08:08:14 Expiration date: Aug 26 08:08:14 2005 GMT2005 GMT

Serial number: 625 (0x271)Serial number: 625 (0x271)

CA Digital signatureCA Digital signature

UFJF, 12.06.2008 39

Arquitetura básica

User Interface

Resource Broker

ssh

Worker nodes

Worker nodes

CE

BDIILFC

SE

VOMS

UserDesktop

SE

UFJF, 12.06.2008 40

Concluindo…

• A fase atual do desenvolvimento do Grid pode ser comparada à da Web de 10 anos atrás

• Acredita-se que Grid Computing revolucionará a TI da mesma forma que a Web fez (e está fazendo)

• Atualmente empresas como HP, Sun, Oracle, IBM e Microsoft também estão investindo em pesquisas relacionadas ao Grid

• Instituições que antes eram privadas de pesquisas que exigiam muito poder computacional, agora podem tirar proveito do Grid

• NGIs (Iniciativas Nacionais de Grid) estão sendo criadas em vários países

• A chamada “e-Science” representa um ativo que contribuí para o desenvolvimento de um país

UFJF, 12.06.2008 41

Concluindo…

Afresco de Nicola Cianfanelli – Museu de Hist. Natural de Florença

Alessandro Volta apresenta em Paris, na presença de Napoleão, a primeira bateria (1801).

UFJF, 12.06.2008 42

Concluindo…

…e no futuro, haverá redes elétricas em todo o mundo…

Power (Electrical) Grid

O quê ?!?!Esse cara é louco…

Oh, monDieu !

UFJF, 12.06.2008 43

Prorrogação

Para saber mais…

UFJF, 12.06.2008 44

http://gridcafe.web.cern.ch/gridcafe/

Grid Café

UFJF, 12.06.2008 45


Ian Foster

UFJF, 12.06.2008 46

GILDA: Grid INFN Laboratory for Dissemination Activities

https://gilda.ct.infn.it

UFJF, 12.06.2008 47


UFJF, 12.06.2008 48


Etna, Italy Tungurahua, Ecuador

• “Sonificar” dados geofísicos coletados de sismogramas digitais instalados em vulcões.

UFJF, 12.06.2008 49


• Melodização

5s = 20h de processamento em 1 PC simples

UFJF, 12.06.2008 50

Links e contato

• Slides sobre gLite https://grid.ct.infn.it/twiki/bin/view/EELA2/TrainingOnGLite

• gLite tutorial – GILDA Wiki https://grid.ct.infn.it/twiki/bin/view/GILDA/UserTutorials

• What is the Grid? http://access.ncsa.uiuc.edu/witg/

• iSGTW http://www.isgtw.org/?pid=1000550

• Open Grid Forum http://www.ogf.org

[email protected]

Documents

Computação Grid e infra-estruturas para e-ciência