MPI and Distributed Applications

Paradigma Troca de Mensagens e MPI

Ms. Eng. Marcos Amarıs GonzalezDr. Daniel de Angelis Cordeiro

Dr. Alfredo Goldman vel Lejbman

Universidade de Sao PauloInstituto de Matematica e Estadıstica

Departamento de Ciencias da Computacao

Maio, 2015

(gold, dcordeiro, amaris)@ime.usp.br Troca de Mensagens e MPI Maio, 2015 0 / 30

Timeline

1 Introducao

2 Troca de Mensagens

3 MPIIntroducao a MPIOperacoes Ponto a PontoOperacoes Coletivas


Introducao

Troca de Mensagens e MPI

1 Introducao


3 MPI


Introducao

Introducao

Taxonomia de Flynn.

Programacao Automatica e difıcil.

Modelos de Programacao Paralela.

Paralelismo de dados, instrucoes e funcional.

1993 - Becker & Sterling started Beowulf project.

Cluster Beowulf ou maquinas paralelas.

Cluster Linux para Leigos

Caracterısticas

Flexibilidade

Escalabilidade

Alta Disponibilidade


Introducao

Introducao - Sistemas Distribuıdos

Sistemas Distribuıdos

Caracterısticas:

Concorrencia.

Escalabilidade.

Modularidade.

Eficiencia.

Intraoperabilidade.

Heterogeneidade.

Como se define um ambiente paralelo?


Introducao

Memoria compartida Vs. Memoria Distribuıda

Figura : Memoria compartida Vs. Memoria Distribuıda


Introducao

Desenho de Algoritmos Paralelos

Desenho de Algoritmos em ambientes Paralelos

O desenho em ambientes paralelos involucra quatro etapas: Particao, Comunicacao,Agrupacao e Alocacao.


Introducao

Computacao em Nuvem e/ou Grades Computacionais

Nowadays, scientist can, in easily fashion, access to many resources (e.g., applications, storage,CPUs, GPUs, remote sensors, supercomputers, among others) interconnected as a distributedsystem throughout the Internet.


Message Passing


1 Introducao


3 MPI


Message Passing

Troca de Mensagens

O que e o Modelo de troca de mensagens?

E um conjunto de processos que possuem acesso a memoria local.

As informacoes sao enviadas da memoria local do processo para amemoria local do processo remoto.

• Cada elemento de dado precisa estar em uma das subdivisoes do espacode memoria– Os dados precisam ser explicitamente particionados e alocados.• Todas as interacoes (leitura e escrita) requerem a cooperacao entre 2processos– O processo que possui os dados e o que deseja acessar os dados.


Message Passing

Bibliotecas para Troca de Mensagens

Rotinas com finalidades bem especıficas, como:

Rotinas de gerencia de processos.

Rotinas de comunicacao Ponto a Ponto.

Rotinas de comunicacao de grupos.

Paradigma sıncrono e assıncrono.

Paradigma de programas fracamente acoplados

Quase todos os programas por passagem de mensagem sao escritosusando o modelo SPMD

Blocos Basicos: send e receive

Os prototipos destas operacoes sao:

send(void *sendbuf, int nelems, int dest)

receive(void *recvbuf, int nelems, int source)


Message Passing

Principais Implementacoes

MPI (Message Passing Interface)

C, C++, Fortran OpenMPI, MPICH2, etc.

Java, Python, etc.

Padrao para computacao de alto-desempenho

PVM (Parallel Virtual Machine)

Cria conceito de maquina virtual.

Funciona em redes e maquinas heterogeneas.

Linux e Windows.


MPI


1 Introducao


3 MPI


MPI Introducao a MPI

Interfase para Troca de Mensagens

MPI e um padrao para a implementacao de sistemas com troca de men-sagens.E desenhado para uma variedade de sistemas de forma tal que os codigossejam portaveis.

Los principales objetivos de MPI:

Proporcionar codigo portatil.

Proporcionar implementacoes eficientes.

Suportar arquiteturas paralelas heterogeneas.



Funcionalidades e Conceitos

MPI Basico: 6 funcoes basicas indispensaveis para o uso do programador.MPI Avancado: 125 funcoes adicionais que acrescentam muita mais flexibilidade.

Conceitos

Processo (Programas em execucao).

Mensagem (Teoria da Comunicacao, Modelo OSI).

1 Envelope (de quem, o que, para quem).2 Dado (o que), informacao que se deseja enviar ou receber.

Rank - identificacao unica.

Group - um conjunto ordenado de N processos.

Communicator - e um objeto local que representa o domınio (contexto) de umacomunicacao.

Comunicacoes Bloqueantes e Nao bloqueantes.



Tipos de dados

Informacao que se deseja enviar ou receber. E representado por tres argu-mentos:

1 Tipo do dado.2 Numero de elementos do dado na mensagem;3 Endereco onde o dado se localiza;



OpenMPI - Instalacao e Configuracao

Instalacao

El proceso de instalacion es bastante sencillo../configure --prefix=/opt/openmpi/gnu

Compile el software e instalelomake && make install

Configuracao

Para poder ejecutar un programa paralelo es necesario configurar el ambienteapropiado:

Un sistema de archivos comun donde se encuentren todos los ficheros involu-crados en la ejecucion.

Un sistema de autenticacion de usuarios que permita el acceso sin contrasenaa los nodos participantes.



Hello World

Para compilar: mpicc -o <executavel> <fonte>

Para executar: mpiexec -n <nproc> <executavel>

Exemplo de Compilacao e Execucao

mpicc -o hello hello.cmpiexec -n 4 hello

#include <mpi.h>

main(int argc , char *argv [])

{

int npes , myrank;

MPI_Init (&argc , &argv);

MPI_Comm_size(MPI_COMM_WORLD , &npes);

MPI_Comm_rank(MPI_COMM_WORLD , &myrank );

printf("Hello World (%d of %d)!\n", myrank , npes);

MPI_Finalize ();

}


MPI Operacoes Ponto a Ponto

MPI Basico

O conjunto mınimo de funcoes MPI



Enviando e Recebendo Mensagens

int MPI_Send( void *address, int count,

MPI_Datatype datatype, int dest,

int tag, MPI_Comm comm)

int MPI_Recv( void *address, int count,

MPI_Datatype datatype, int source,

int tag, MPI_Comm comm, MPI_Status *status)

MPI ANY SOURCE: qualquer processo de domınio de comunicacao pode ser aorigem da mensagem.

MPI ANY TAG: mensagens com qualquer etiqueta sao aceitas.

typedef struct MPI_Status {

int MPI_SOURCE; int MPI_TAG; int MPI_ERROR; };



Exemplo: Distribuicao de um Vetor

Exemplo: Distribuicao de um Vetor.



Sobrepondo Comunicacao e Computacao

MPI tambem prove funcoes nao bloqueantes:

Funcoes para operacoes nao bloqueantes

int MPI_Isend ( void *buf, int count,

MPI_Datatype datatype, int dest, int tag,

MPI_Comm comm, MPI_Request *request)

int MPI_Irecv ( void *buf, int count,

MPI_Datatype datatype, int source, int tag,

MPI_Comm comm, MPI_Request *request)

int MPI_Test(MPI_Request *request, int *flag,

PI_Status *status)

int MPI_Wait(MPI_Request *request, MPI_Status *status)


MPI Operacoes Coletivas

Operacoes Coletivas

O padrao MPI prove um grande conjunto de funcoes para realizaroperacaoes de comunicacao coletiva.

Cada operacao e realizada entre todos os processos de um grupo decomunicacao.– Todos os processos do grupo precisam chamar a funcao coletiva.– Todos os processos da aplicacao devem ser chamados com o com-municator: MPI COMM WORLD.

Cada processo fica bloqueado ate que todos os demais cheguem nabarreira e chamem a funcao.



Operacoes Coletivas

A operacao de broadcast (difusao) de um para todos e:

int MPI_Bcast(void *buf, int count,

MPI_Datatype datatype, int source,

MPI_Comm comm)

A operacao de reducao de todos para um e dada por:

int MPI_Reduce(void *sendbuf, void *recvbuf,

int count, MPI_Datatype datatype,

MPI_Op op, int target, MPI_Comm comm

A operacao de sincronizacao por barreira e:

int MPI_Barrier(MPI_Comm comm)



Operacoes de Reducao Disponıveis



MPI Allreduce



MPI Scan



MPI Scatter



MPI Gather



MPI Allgather



MPI Alltoall



MPI Alltoall



Execucao em Multiplas Maquinas

Passos a seguir...

1 Configurar acesso SSH sem uso de senha.- (http://www.linuxproblem.org/art 9.html)

2 Criar arquivo com os enderecos IP (ou nomes) das maquinas.Exemplo (hosts.dat):192.168.14.160192.168.14.161

3 Copiar o arquivo executavel para cada um dos nos, usando o comandoscp; caso nao tenha um NFS configurado.

4 Iniciar a execucao:mpiexec -np 2 -hostfile hosts.dat ./High.out



Uso de MPI com OpenMP

”Programacao Hybrida”



So isso... Obrigado.

O EP 3 MPI, deve estar pronto hoje.Data de entrega: 5 de Junho!

Bom Final de Semana para todos :-)


Software

MPI and Distributed Applications