Roteiro Introdução Arquitetura Características Algoritmos de Escalonamento Tipos de Grades...

Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Roteiro• IntroduçãoIntrodução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Introdução• Histórico

- Surgiu em meados dos anos 90- Laboratório de Argonne/EUA

• O que é?- Integração de recursos computacionais dispersos interligados em rede

• Por que usar ?- Compartilhamento de recursos ociosos- Altos níveis de processamento e armazenamento- Solução para problemas antes insolúveis

• Onde não usar ?- Não é recomendado para solução de aplicações seqüenciais.

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Roteiro• Introdução• ArquiteturaArquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

• Organizada em camadas

- Camada de Aplicação

- Camada de Coletividade

- Camada de Recursos

- Camada de Conectividade

- Camada de Estrutura

Arquitetura

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Camada de EstruturaResponsável pelo controle de acesso aos recursos

• Recursos Computacionais• Recursos de Armazenamento• Recursos de Rede

Arquitetura

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

ArquiteturaCamada de Conectividade

• Definição dos protocolos de autenticação e comunicação

• Troca de dados entre recursos da camada de estrutura

• Segurança

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

ArquiteturaCamada de Recursos

• Compartilhamento de recursos entre usuários• Controle do tempo de uso dos recursos• Protocolos

- Informação- Gerenciamento

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

ArquiteturaCamada de Coletividade

• Coordena a interação entre diversos recursos- Serviços de diretório- Serviços de co-alocação- Serviços de monitoramento- Serviços de replicação de dados

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

ArquiteturaCamada de Aplicação

• Aplicações dos usuários

• Ferramentas para evitar a desconexão do usuário com a grade

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Roteiro• Introdução• Arquitetura• CaracterísticasCaracterísticas• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Características• Larga Escala• Escalabilidade• Heterogeneidade• Distribuição Geográfica• Compartilhamento de Recursos• Qualidade de Serviço• Controle Distribuído• Alta Disponibilidade

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Roteiro• Introdução• Arquitetura• Características• Algoritmos de EscalonamentoAlgoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Escalonamento

• Três fases principais:- Descoberta de Recursos

- Seleção do Sistema

- Execução da Tarefa

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Algoritmos de Escalonamento

• Dynamic FPLTF

• Workqueue with Replication (WQR)

• XSufferage

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Algoritmos de Escalonamento

Dynamic FPLTF ( Fastest Processor to Largest Task First )

Variáveis:• Host Speed• Host Load• Task Size

Tarefas alocadas ao Host de menor CTCT (completion time) = TaskCost +TBA (time to become available) TaskCost = (TaskSize/HostSpeed) / (1-HostLoad).

A execução só começa quando todas as tarefas estão alocadas.

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Algoritmos de Escalonamento

Workqueue with Replication (WQR)

• Tarefas são alocadas aleatoriamente• Cada processador livre recebe uma tarefa• Quando não há mais tarefas para enviar, ele replica a(as)

que está(estão) em execução• Interrompe todas as réplicas assim que uma delas ou a

original termina

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Algoritmos de Escalonamento

XSufferage

• Prioriza tarefas que seriam mais prejudicadas se não fossem escalonadas para o processador que a processaria de forma eficiente

• Sufferage: Diferença entre os dois primeiros melhores tempos de execução previsto para a tarefa

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de GradesTipos de Grades• Projetos• Aplicações• Conclusão• Perguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Tipos de Grades

• Grades Computacionais

• Grades de Dados

• Grades de Redes

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• ProjetosProjetos• Aplicações• Conclusão• Perguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

ProjetosGlobus• Serviços

- Controle de aplicações- Descoberta de recursos- Transferência de dados- Segurança

• Submissão e controle de tarefas via GRAM (Globus Resource Allocation Manager)

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Projetos

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Funcionamento do GRAM

GRAM Client

Gatekeeper

Globus Security Infrastructure Job Manager

Local Resource Manager

MDS(Metacomputing Directory Service)

GRAM Reporter

Requisita Recurso

AutenticaçãoAloca e cria processos

Solicita a informação do estado atual do

recurso

Atualiza as informações

Monitoramento e controle

Criação do Job Manager

Troca informações com o cliente

ProjetosCondor• Poder computacional a médio e longo prazo

• Possui mecanismo de Checkpoint

• Tarefas alocadas pelo Matchmaker

• Condor-G- Utiliza recursos via Globus

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Projetos

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Consumidor Provedor de Recursos

Matchmaker

Requis

ita re

curso Oferece recurso

Protocolo de

reivindicação

Notificações

Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• AplicaçõesAplicações• Conclusão• Perguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

AplicaçõesSaúde

• BIRN (Biomedical Informatics Research Network)- Biologia computacional- Estudo de Genomas- Neurociência- Etc.

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

AplicaçõesCiências Meteorológicas

• Earth System Grid (ESG)- Simulações Climáticas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

AplicaçõesEngenharia

• Network for Earthquake Engineering Simulation (NEESit)- Simulação de terremotos e outros eventos

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• ConclusãoConclusão• Perguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Conclusões

• Área em expansão• Presente em grandes empresas• Futuro: Serviço público tradicional

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• PerguntasPerguntas

Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II

Pergunta 11) Qual é a funcionalidade do Serviço de Diretório presente na Camada de Coletividade da arquitetura das grades ?

Pergunta 11) Qual é a funcionalidade do Serviço de Diretório presente na Camada de Coletividade da arquitetura das grades ?

R: Permitir que os usuários façam a descoberta e consulta de recursos tanto pelo nome ou por atributos como carga e disponibilidade.

Pergunta 22) Em que se baseia o algoritmo XSufferage para escalonar uma tarefa ?

Pergunta 22) Em que se baseia o algoritmo XSufferage para escalonar uma tarefa ?

R: O algoritmo se baseia no valor sufferage, que é o dado de quanto a tarefa seria prejudicada caso ela não fosse escalonada no processador que a processaria de forma mais eficiente. Ele é calculado pela diferença dos dois melhores tempos de execução previstos pra tarefa.

Pergunta 33) O que é uma Grade de Dados ?

Pergunta 33) O que é uma Grade de Dados ?

R: É um tipo de grade que compartilha o espaço de armazenamento disponível em cada máquina pertencente a ela, aumentando assim a sua capacidade de armazenamento.

Pergunta 44) Qual é a função do mecanismo de Checkpoint do Condor ?

Pergunta 44) Qual é a função do mecanismo de Checkpoint do Condor ?

R: Ele serve para salvar o estado de execução de uma tarefa após ela ter sido interrompida, permitindo que a tarefa seja executada em alguma outra máquina a partir do ponto onde ela parou.

Pergunta 55) Grade computacional é a solução para qualquer problema

computacional que envolve alto desempenho? Justifique sua resposta.

Pergunta 55) Grade computacional é a solução para qualquer problema

computacional que envolve alto desempenho? Justifique sua resposta.

R: Não. As grades não são aconselhadas para resolução de problemas seqüenciais, já que suas funcionalidades são voltadas para a execução de aplicações paralelizáveis.