Introdução à Computação em Grade Porto Alegre, Maio/2006 Centro Nacional de Supercomputação...

Introdução à Computação em GradeIntrodução à Computação em Grade

Porto Alegre, Maio/2006

Centro Nacional de Supercomputação

CESUP/RS

Realização:

Projeto GradeUFRGS

Material pertencente ao Projeto GradeUFRGS

Fornecer informações iniciais sobre:

• Conceitos de computação em grade e suas aplicabilidades;

• Infra-estrutura necessária para a computação em grade.

Introdução à Computação em Grade

Introdução à Computação em Grade

OBJETIVOS

COMPETÊNCIAS

• Entender a analogia entre Energy Grid e Grid Computing;

• Identificar as diferenças entre grid e Internet;

• Entender o papel de cada item identificado como premissa básica em uma

grade computacional;

• Entender os passos para habilitar-se ao uso de uma grade computacional;

• Entender uma abstração de passos para execução de uma aplicação em

ambiente de grade computacional;

• Entender o conceito de grade computacional e sua aplicabilidade.

Energia sobdemanda Energia sobdemanda

VISÃO DO USUÁRIO

• desconhece detalhes técnicos sobre geração, transmissão e distribuição de energia;

• interesse em ter sua necessidade por energia elétrica atendida.

• desconhece detalhes técnicos sobre geração, transmissão e distribuição de energia;

• interesse em ter sua necessidade por energia elétrica atendida.

Eletric GridEletric Grid

Energia sobdemanda Energia sobdemanda

VISÃO DO USUÁRIO

Computaçãosob demanda Computaçãosob demanda • desconhece detalhes técnicos

sobre software, hardware, rede, gerenciamento de recursos;

• interesse em ter sua necessidade por computação atendida.

VISÃO DO USUÁRIO

VISÃO DO USUÁRIO

• desconhece detalhes técnicos sobre software, hardware, rede, gerenciamento de recursos;

• interesse em ter sua necessidade por computação atendida.

Computaçãosob demanda Computaçãosob demanda

Grade ComputacionalGrade Computacional

Computação em Grade

Aplicabilidade

Computação em Grade

Aplicabilidade

Grid Computing

Infra-estrutura de:•Software;•Hardware;•Telecomunicações;•Definições administrativas.

Permitindo

Compartilhamento de recursos heterogêneos e geograficamente distribuídos de maneira coordenada.

Computaçãosob demanda Computaçãosob demanda

Premissas Básicas de Construção.

Como

Como

Grid Computing

Usuário pertence a comunidade;Usuário treinamento básico;Usuário necessita de credenciais de acesso à grade;

Usuário acessa portal;Usuário utiliza grade submetendo job e obtendo informações.

Computaçãosob demanda Computaçãosob demanda

Premissas Básicas de Utilização.

Visão do usuário

Premissas de Construção

+

Premissas de Utilização Sistema

único

Grid ComputingComputação

sob demanda Computaçãosob demanda

Visão do Usuário.

Como

São iguaisInternet? Grid?

Cluster?Internet? Grid?

Cluster?

Grid Computing

Internet

Grid e Cluster são diferentes plataformas para execução de aplicações paralelas.

Internet suporte para serviços como www, e-mail, ftp.

suporte para serviços como video-conferência, hdtv,

voIP e grade.gradeinternet

Cluster

Não, não são!

Computação em Grade

TelecomInfra-estrutura

Computação em Grade

TelecomInfra-estrutura

Conexões com elevadas taxas de transferência de dados.

TeraGridTeraGridTeraGridTeraGrid

• conexões com elevadas taxas de transferência.

TeraGridTeraGridTeraGridTeraGrid

Heterogeneidade de recursos computacionais - tanto local quanto distribuídos.

Computação em Grade

HardwareInfra-estrutura

Computação em Grade

HardwareInfra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos.

Department Grid

TeraGridTeraGridTeraGridTeraGrid

Alta dispersão geográfica com diferentes níveis de agregação de recursos.

Computação em Grade

Organização Funcional

Infra-estrutura

Computação em Grade

Organização Funcional

Infra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos.

Department Grid

Campus Grid

TeraGridTeraGridTeraGridTeraGrid

Alta dispersão geográfica com diferentes níveis de agregação de recursos.

Computação em Grade

Organização Funcional

Infra-estrutura

Computação em Grade

Organização Funcional

Infra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos.

Alta dispersão geográfica com diferentes níveis de agregação de recursos.

Department Grid

Campus Grid

TeraGridTeraGridTeraGridTeraGrid

RegionalGrid

Computação em Grade

Organização Funcional

Infra-estrutura

Computação em Grade

Organização Funcional

Infra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos.

Regional Grid

NationalGrid

Department Grid

Campus Grid

TeraGridTeraGridTeraGridTeraGrid

Alta dispersão geográfica com diferentes níveis de agregação de recursos.

Computação em Grade

Organização Funcional

Infra-estrutura

Computação em Grade

Organização Funcional

Infra-estrutura

National GridRegional Grid

Department Grid

Campus Grid

InternationalGrid

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos.

Alta dispersão geográfica com diferentes níveis de agregação de recursos.

Computação em Grade

Organização Funcional

Infra-estrutura

Computação em Grade

Organização Funcional

Infra-estrutura

National GridRegional Grid

Department Grid

Campus Grid

International Grid

IntercontinentalGrid

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos.

Alta dispersão geográfica com diferentes níveis de agregação de recursos.

Computação em Grade

Organização Funcional

Infra-estrutura

Computação em Grade

Organização Funcional

Infra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica.

Normalmente, as VO são

formadas em função de

interesses comuns.VO EUA

VO Michigan

VO California

TeraGridTeraGridTeraGridTeraGrid

Grupo de instituições agregadas sob as mesmas políticas de compartilhamento de recursos.

VO = domínio administrativo

Computação em Grade

Organização Virtual

Infra-estrutura

Computação em Grade

Organização Virtual

Infra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO).

Recursos compartilhados entre VO´s: disco, processadores, memória, dados, aplicações, etc.

Aplicação do domínio EUA é

disparada na VO MICHIGAN

utilizando discos da VO

TEXAS, memória e

processadores das VO´s

MICHIGAN e CALTECH e

dados de todas as VO´s.VO EUA

VO Michigan

VO California

TeraGridTeraGridTeraGridTeraGrid

Computação em Grade

Recursos Compartilhados

Infra-estrutura

Computação em Grade

Recursos Compartilhados

Infra-estrutura

Aplicação do domínio EUA é

disparada na VO MICHIGAN

utilizando discos da VO

TEXAS, memória e

processadores das VO´s

MICHIGAN e CALTECH se

estas permitirem.

Controle é definido pela VO local através de definições administrativas (políticas de uso dos recursos).

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos.

Regras de utilização de recursos da VO. Define-se “O QUE”, “QUANDO”, “ONDE”, “QUEM”, “QUANTO”.

VO EUA

VO Michigan

VO California

TeraGridTeraGridTeraGridTeraGrid

Computação em Grade

Política de Uso

Infra-estrutura

Computação em Grade

Política de Uso

Infra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos;• políticas de uso de recursos.

+ =

Portal Middleware Grade

Recursos de software para construção, configuração e operação de um grid.

Computação em Grade

Software

Infra-estrutura

Computação em Grade

Software

Infra-estrutura

Acessado através de URL.

Requer senha de acesso.

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos;• políticas de uso de recursos.

Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais.

Computação em Grade

Software - Portal

Infra-estrutura

Computação em Grade

Software - Portal

Infra-estrutura

Cadastro de recursos e usuários. Acessado através de URL;

Requer senha de acesso.

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos;• políticas de uso de recursos.

Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais.

Computação em Grade

Software - Portal

Infra-estrutura

Computação em Grade

Software - Portal

Infra-estrutura

Cadastro de recursos e usuários.

Acessado através de URL;

Requer senha de acesso;Informações sobre

recursos e serviços disponíveis.

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos;• políticas de uso de recursos.

Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais.

Computação em Grade

Software - Portal

Infra-estrutura

Computação em Grade

Software - Portal

Infra-estrutura

Disparo e monitoramento de jobs.

Informações sobre recursos.

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos;• políticas de uso de recursos.

Cadastro de recursos e usuários;

Acessado através de URL;

Requer senha de acesso;

Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais.

Computação em Grade

Software - Portal

Infra-estrutura

Computação em Grade

Software - Portal

Infra-estrutura

Disparo e monitoramento de jobs.

Informações sobre recursos.

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos;• políticas de uso de recursos.

Cadastro de recursos e usuários;

Acessado através de URL;

Requer senha de acesso;

Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais.

Computação em Grade

Software - Portal

Infra-estrutura

Computação em Grade

Software - Portal

Infra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos;• políticas de uso de recursos.

Security Infrastructure; Information Management; Resource Management; Data Management.

Não é uma solução completa!Não é uma solução completa!

Globus Toolkit

Conjunto de serviços, ferramentas e aplicações voltadas para construção e utilização em ambiente grid.

Computação em Grade

Software - Middleware

Infra-estrutura

Computação em Grade

Software - Middleware

Infra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos;• políticas de uso de recursos.

Resource Management

Service

Data Management

Services

Security Infrastructure

Information Management

Serviços do Globus

Conjunto de serviços, ferramentas e aplicações voltadas para construção e utilização em ambiente grid.

Computação em Grade

Software - Middleware

Infra-estrutura

Computação em Grade

Software - Middleware

Infra-estrutura

• conexões com elevadas taxas de transferência;• recursos computacionais heterogenêos;• alta dispersão geográfica;• múltiplos domínios administrativos (VO);• compartilhamento de recursos;• políticas de uso de recursos.

Não é uma solução

completa!

Não é uma solução

completa!

Gerenciador de Fila de Jobs

Protocolos Sistema Operacional

SoluçõesComplementares

Conjunto de serviços, ferramentas e aplicações voltadas para construção e utilização em ambiente grid.

Computação em Grade

Software - Middleware

Infra-estrutura

Computação em Grade

Software - Middleware

Infra-estrutura

1 Contate o admin da VO.

2 Admin da VO solicita certificado digital do usuário.

?

OK AutoridadeCerficadora

OKIduser, senha,

3

Admin retorna id, senha e certificado digital do

usuário.

4 Usuário com direitos de acesso ao grid através do portal.

Passos para habilitar-se ao uso do grid.

Computação em Grade

Associando-seà Grade

Computação em Grade

Associando-seà Grade

1. Acesso ao portal, informando usuário e senha.

Certificado do usuário é verificado e uma credencial temporária é gerada

Portal

1

Computação em Grade

Executando Job

Computação em Grade

Executando Job

Portal

1 2

2. Usuário executa arquivo de configuração com os parâmetros de execução da aplicação desejada.

1. Acesso ao portal, informando usuário e senha.Computação em Grade

Executando Job

Computação em Grade

Executando Job

Portal

ResourceBroker

3

1 2

3. Solicitação de execução da aplicação é recebida por um módulo “Resource Broker”.

1. Acesso ao portal, informando usuário e senha;

2. Execução de arquivo de configuração da aplicação.Computação em Grade

Executando Job

Computação em Grade

Executando Job

Portal

Serviço de Informações

ResourceBroker

1 2

3

4

4. “Resource Broker” consulta serviços de informações sobre recursos computacionais disponíveis.

1. Acesso ao portal, informando usuário e senha;

2. Execução de arquivo de configuração da aplicação;

3. Resource Broker recebe solicitação de execução.

Computação em Grade

Executando Job

Computação em Grade

Executando Job

Portal

Serviço de Informações

ResourceBroker

1 2

3

4 5

5. Serviço obtém informações a respeito dos recursos computacionais do grid.

1. Acesso ao portal, informando usuário e senha;

2. Execução de arquivo de configuração da aplicação;

3. Resource Broker recebe solicitação de execução;

4. Resource Broker consulta informações.

Computação em Grade

Executando Job

Computação em Grade

Executando Job

Portal

Serviço de Informações

ResourceBroker

1 2

3

4 5

6

6. “Resource Broker” dispara a aplicação nos recursos computacionais selecionados.

1. Acesso ao portal, informando usuário e senha;

2. Execução de arquivo de configuração da aplicação;

3. Resource Broker recebe solicitação de execução;

4. Resource Broker consulta informações;

5. Serviço de informações obtém dados sobre recursos.

Computação em Grade

Executando Job

Computação em Grade

Executando Job

7. Portal obtém informações sobre aplicações do usuário.

Portal

Serviço de Informações

ResourceBroker

1. Acesso ao portal, informando usuário e senha;

2. Execução de arquivo de configuração da aplicação;

3. Resource Broker recebe solicitação de execução;

4. Resource Broker consulta informações;

5. Serviço de informações obtém dados sobre recursos;

6. Resource Broker dispara execução de aplicação.

1 2

3

4 5

6

7

Computação em Grade

Executando Job

Computação em Grade

Executando Job

“system that support parallel execution of applications in

distribuited heterogeneous resources, offering

consistent and inexpensive access to those resources

independently of physical location”

(Ian Foster).

Computação em Grade

Conceituando...

Computação em Grade

Conceituando...

BIBLIOGRAFIAIntrodução à Computação em Grade

Introdução à Computação em Grade