Integrade - Usando TakTuk e Oar

IntegradeFerramentas para distribuição e escalonamento

Fabrício de Sousa Nascimento

1

Distribuindo com TakTuk

2

Como é hoje

3

Como é hoje

• Distribuição do Integrade é feito de maneira manual. “Compila e roda ou ....”

3

O que vamos fazer

4

O que vamos fazer

• Distribuição dos módulos de maneira automática eficiente e segura. Fácil tanto para o usuário quanto para o Administrador de Sistemas

4

Considerações importantes

5


• Pré requisito nos novos nós (clientes)

5



• Comunicação segura com máquinas pré instaladas (servidor)

5




• Execução remota de comandos/scripts

5





• Replicação do Integrade

5






• Transferência de arquivos

5







• Configuração dos clientes

5







• Configuração dos clientes

• Instalação dos Módulos (lrm, grm, lupa... )

5

Taktuk (taktuk.gforge.inria.fr)

6

Funcionamento Taktuk

7


7


7


7


7


7


7


8


• Adaptatividade (Work-Stealing)

8



• Escalabilidade

8



• Escalabilidade

• Portabilidade ( Perl )

8



• Escalabilidade


• Flexibilidade

8



• Escalabilidade


• Flexibilidade

• Camada de Comunicação

8



• Escalabilidade


• Flexibilidade

• Camada de Comunicação

• Autopropagação

8

TakTuk e Integrade

IntegradeNovo

Cliente

9

Requisita Instalação

Requisitos:‣Perl‣Open ssh (Conector)‣Conjunto de chaves públicas para Servidores Confiáveis *‣Arquivo de Conf.

TakTuk e Integrade

IntegradeNovo

Cliente

9

TakTuk e Integrade

IntegradeNovo

Cliente

9

TakTuk e Integrade

Integrade

Verifica possibilidade de Instalação (TakTuk)

‣Checa Pré-Requisitos‣Faz Verificações de disponibilidade (espaço em disco, módulos) Novo

Cliente

9

TakTuk e Integrade

IntegradeNovo

Cliente

9

TakTuk e Integrade

Integrade

Transfere os módulos e dependências (TakTuk)

‣Compila ou envia binário‣Configura‣Registra junto ao GRM

Novo

Cliente

9

TakTuk e Integrade

IntegradeNovo

Cliente

9

Questões em Aberto

10

Questões em Aberto

• Dá para usar o Taktuk para outras tarefas? Exemplos:

10

Questões em Aberto


• Monitorar máquinas. (OAR usa taktuk para monitoramento)

10

Questões em Aberto



• Recuperar máquinas indisponíveis

10

Questões em Aberto



• Recuperar máquinas indisponíveis

• Kanif

10

Escalonando com OAR5000

11

Como é hoje

12

Como é hoje

• Escalonamento é feito de maneira simples. Processos não pode ser agendados. Se não há recursos disponíveis rejeita submissão.

12

O que vamos fazer

13

O que vamos fazer

• Escalonamento inteligente de recursos. Agendamento, filas de prioridade, melhor aproveitamento de recursos.

13

Considerações

14

Considerações

• Escalonamento não é uma tarefa simples

14

Considerações


• Já existe um GRM

14

Considerações


• Já existe um GRM

• Comunicação entre módulos

14

OAR (oar.imag.fr)

15

Funcionamento do OAR

MySQL

Grade

OAR

Cliente

16


MySQL

Grade

OAR

Cliente

16


SubmissãoMySQL

Grade

OAR

Cliente

16


SubmissãoMySQL

Grade

OAR

Cliente

16


Submissão

Notifica

MySQL

Grade

OAR

Cliente

16

OAR (oar.imag.fr)

17

OAR (oar.imag.fr)

• Casamento de Recursos

17

OAR (oar.imag.fr)


• Multiplas Filas de Prioridade

17

OAR (oar.imag.fr)



• Regras de Admissão

17

OAR (oar.imag.fr)




• Não há daemon nos nós clientes

17

OAR (oar.imag.fr)




• Não há daemon nos nós clientes

• Interface por Database

17

Questões em Aberto

18

Questões em Aberto

• Como usar o OAR?

18

Questões em Aberto


• Oar5000 tem algumas alternativas interessantes

18

Questões em Aberto


• Oar5000 tem algumas alternativas interessantes

• Maui Cluster Scheduler (Java)

18

Dúvida?

19

Technology

Integrade - Usando TakTuk e Oar