View
104
Download
2
Category
Preview:
Citation preview
Francieli Zanon BoitoRodrigo Virote Kassick
Prof. Dr. Philippe O. A. Navaux
XXI Salão de Iniciação Científica – UFRGS
Porto Alegre, 22 de outubro de 2009.
Analisando o comportamento do sistema de arquivos Lustre sob
padrões de acesso a dados exclusivos
2 de 26
RoteiroIntrodução
Lustre File System
Testes propostos
Resultados
Conclusões
Clusters de computadores
são uma realidade.
3 de 26Introdução
Aplicações científicas geram grandes
quantidades de dados, que podem precisar ser acessados em
todos os nós.
4 de 26
Uma solução bastante
empregada é utilizar um Sistema
de Arquivos Distribuído (SAD).
Introdução
Um padrão comum em aplicações
científicas é o acesso a dados
exclusivos.
Esses dados podem ser armazenados
em arquivos próprios, ou em
segmentos de um compartilhado.
Introdução
5 de 26
Dependendo das opções de projeto, o sistema será mais
otimizado para uma abordagem do que
pra outra.
Para obter um bom desempenho, a
forma com que as aplicações fazem I/O deve combinar com
as otimizações oferecidas pelo
sistema de arquivos.
Introdução
6 de 26
7 de 267 de 26
O objetivo desse trabalhoIntrodução
8 de 268 de 26
Estudar o desempenho do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos.
Introdução
O que é o Lustre, e por que ele deve ser
estudado?
9 de 26
10 de 26
O Lustre é um sistema padrão de mercado: 15 dos top-30
computadores o utilizam.
10 de 26Lustre F.S.
11 de 26
Cliente
Cliente
Cliente
MDS
OST
OST
OBD
OBD
OBD
OBD
- Clientes;
- Servidor de metadados (MDS);
- Servidores de dados (OST);
- Dispositivos de armazenamento (OBD);
Lustre F.S.
Como simular os padrões de acesso a dados exclusivos?
12 de 26
13 de 26
Multiple Files, Whole
AccessMFWA
Single File, Segmented
AccessSFSA
Single File, Segmented
AccessSFSANon-strided strided
Testes
Os testes foram realizados com auxílio da ferramenta
MPI-IO Test.
14 de 26Testes
15 de 26
- Cluster Helios (Grid5000), nodos biprocessados com AMD Opteron 2.2GHz, 4GB de memória RAM e rede Gigabit Ethernet. - 4 servidores de dados;
- Striping em blocos de 64KB, circular começando em servidor aleatório.
Testes
- Acessos em blocos de 64KB e 64MB.
16 de 26- Cada cliente opera
sobre 2GB.- Servidores de dados
armazenam no sistema de arquivos local (ext3).
- Coletados resultados o número de vezes necessário para ter confiança de 90% e erro relativo de 10% (mínimo de 4 execuções);
Testes
Resultados obtidos
17 de 26
18 de 26Resultados
Acessos a áreas contíguas
19 de 26Resultados
20 de 26Resultados
MF vs SF non-strided
Conclusões
21 de 26
22 de 26
- Pior desempenho: SFSA strided, especialmente para tamanho pequeno de bloco.
Conclusões
23 de 2623 de 26
Melhor desempenho é obtido utilizando MFWA ou SFSA
non-strided ?
Conclusões
24 de 26
Operações de leituraConclusões
Blocos pequenos
Tanto faz. Poucos clientes (até 3x o número de OSTs)
Blocos grandes
Arquivo único ~13% melhor.
Vários clientes
Tanto faz.
25 de 26
Operações de escritaConclusões
Poucos clientes (até 3x o número de OSTs)
Arquivo único ~13% melhor.
Vários clientes
Múltiplos arquivos ~14% melhor.
Obrigada pela atenção!
Perguntas?
Francieli Zanon BoitoRodrigo Virote Kassick
Prof. Dr. Philippe O. A. Navaux
XXI Salão de Iniciação Científica – UFRGS
Porto Alegre, 22 de outubro de 2009.
Analisando o comportamento do sistema de arquivos Lustre sob
padrões de acesso a dados exclusivos
Recommended