Integrade - Usando TakTuk e Oar

IntegradeFerramentas para distribuição e escalonamento

Fabrício de Sousa Nascimento

1

Distribuindo com TakTuk

2

Como é hoje

3

Como é hoje

• Distribuição do Integrade é feito de maneira manual. “Compila e roda ou ....”

3

O que vamos fazer

4

O que vamos fazer

• Distribuição dos módulos de maneira automática eficiente e segura. Fácil tanto para o usuário quanto para o Administrador de Sistemas

4

Considerações importantes

5

Considerações importantes

• Pré requisito nos novos nós (clientes)

5

Considerações importantes

• Pré requisito nos novos nós (clientes)

• Comunicação segura com máquinas pré instaladas (servidor)

5

Considerações importantes

• Pré requisito nos novos nós (clientes)

• Comunicação segura com máquinas pré instaladas (servidor)

• Execução remota de comandos/scripts

5

Considerações importantes

• Pré requisito nos novos nós (clientes)

• Comunicação segura com máquinas pré instaladas (servidor)

• Execução remota de comandos/scripts

• Replicação do Integrade

5

Considerações importantes

• Pré requisito nos novos nós (clientes)

• Comunicação segura com máquinas pré instaladas (servidor)

• Execução remota de comandos/scripts

• Replicação do Integrade

• Transferência de arquivos

5

Considerações importantes

• Pré requisito nos novos nós (clientes)

• Comunicação segura com máquinas pré instaladas (servidor)

• Execução remota de comandos/scripts

• Replicação do Integrade

• Transferência de arquivos

• Configuração dos clientes

5

Considerações importantes

• Pré requisito nos novos nós (clientes)

• Comunicação segura com máquinas pré instaladas (servidor)

• Execução remota de comandos/scripts

• Replicação do Integrade

• Transferência de arquivos

• Configuração dos clientes

• Instalação dos Módulos (lrm, grm, lupa... )

5

Taktuk (taktuk.gforge.inria.fr)

6

Funcionamento Taktuk

7

Funcionamento Taktuk

7

Funcionamento Taktuk

7

Funcionamento Taktuk

7

Funcionamento Taktuk

7

Funcionamento Taktuk

7

Funcionamento Taktuk

7

Taktuk (taktuk.gforge.inria.fr)

8

Taktuk (taktuk.gforge.inria.fr)

• Adaptatividade (Work-Stealing)

8

Taktuk (taktuk.gforge.inria.fr)

• Adaptatividade (Work-Stealing)

• Escalabilidade

8

Taktuk (taktuk.gforge.inria.fr)

• Adaptatividade (Work-Stealing)

• Escalabilidade

• Portabilidade ( Perl )

8

Taktuk (taktuk.gforge.inria.fr)

• Adaptatividade (Work-Stealing)

• Escalabilidade

• Portabilidade ( Perl )

• Flexibilidade

8

Taktuk (taktuk.gforge.inria.fr)

• Adaptatividade (Work-Stealing)

• Escalabilidade

• Portabilidade ( Perl )

• Flexibilidade

• Camada de Comunicação

8

Taktuk (taktuk.gforge.inria.fr)

• Adaptatividade (Work-Stealing)

• Escalabilidade

• Portabilidade ( Perl )

• Flexibilidade

• Camada de Comunicação

• Autopropagação

8

TakTuk e Integrade

IntegradeNovo

Cliente

9

Requisita Instalação

Requisitos:‣Perl‣Open ssh (Conector)‣Conjunto de chaves públicas para Servidores Confiáveis *‣Arquivo de Conf.

TakTuk e Integrade

IntegradeNovo

Cliente

9

TakTuk e Integrade

IntegradeNovo

Cliente

9

TakTuk e Integrade

Integrade

Verifica possibilidade de Instalação (TakTuk)

‣Checa Pré-Requisitos‣Faz Verificações de disponibilidade (espaço em disco, módulos) Novo

Cliente

9

TakTuk e Integrade

IntegradeNovo

Cliente

9

TakTuk e Integrade

Integrade

Transfere os módulos e dependências (TakTuk)

‣Compila ou envia binário‣Configura‣Registra junto ao GRM

Novo

Cliente

9

TakTuk e Integrade

IntegradeNovo

Cliente

9

Questões em Aberto

10

Questões em Aberto

• Dá para usar o Taktuk para outras tarefas? Exemplos:

10

Questões em Aberto

• Dá para usar o Taktuk para outras tarefas? Exemplos:

• Monitorar máquinas. (OAR usa taktuk para monitoramento)

10

Questões em Aberto

• Dá para usar o Taktuk para outras tarefas? Exemplos:

• Monitorar máquinas. (OAR usa taktuk para monitoramento)

• Recuperar máquinas indisponíveis

10

Questões em Aberto

• Dá para usar o Taktuk para outras tarefas? Exemplos:

• Monitorar máquinas. (OAR usa taktuk para monitoramento)

• Recuperar máquinas indisponíveis

• Kanif

10

Escalonando com OAR5000

11

Como é hoje

12

Como é hoje

• Escalonamento é feito de maneira simples. Processos não pode ser agendados. Se não há recursos disponíveis rejeita submissão.

12

O que vamos fazer

13

O que vamos fazer

• Escalonamento inteligente de recursos. Agendamento, filas de prioridade, melhor aproveitamento de recursos.

13

Considerações

14

Considerações

• Escalonamento não é uma tarefa simples

14

Considerações

• Escalonamento não é uma tarefa simples

• Já existe um GRM

14

Considerações

• Escalonamento não é uma tarefa simples

• Já existe um GRM

• Comunicação entre módulos

14

OAR (oar.imag.fr)

15

Funcionamento do OAR

MySQL

Grade

OAR

Cliente

16

Funcionamento do OAR

MySQL

Grade

OAR

Cliente

16

Funcionamento do OAR

SubmissãoMySQL

Grade

OAR

Cliente

16

Funcionamento do OAR

SubmissãoMySQL

Grade

OAR

Cliente

16

Funcionamento do OAR

Submissão

Notifica

MySQL

Grade

OAR

Cliente

16

OAR (oar.imag.fr)

17

OAR (oar.imag.fr)

• Casamento de Recursos

17

OAR (oar.imag.fr)

• Casamento de Recursos

• Multiplas Filas de Prioridade

17

OAR (oar.imag.fr)

• Casamento de Recursos

• Multiplas Filas de Prioridade

• Regras de Admissão

17

OAR (oar.imag.fr)

• Casamento de Recursos

• Multiplas Filas de Prioridade

• Regras de Admissão

• Não há daemon nos nós clientes

17

OAR (oar.imag.fr)

• Casamento de Recursos

• Multiplas Filas de Prioridade

• Regras de Admissão

• Não há daemon nos nós clientes

• Interface por Database

17

Questões em Aberto

18

Questões em Aberto

• Como usar o OAR?

18

Questões em Aberto

• Como usar o OAR?

• Oar5000 tem algumas alternativas interessantes

18

Questões em Aberto

• Como usar o OAR?

• Oar5000 tem algumas alternativas interessantes

• Maui Cluster Scheduler (Java)

18

Dúvida?

19