Guia de Cluster

Ministrio do Planejamento, Oramento e GestoSLTI Secretaria de Logstica e Tecnologia da Informao

DSI Departamento de Integrao de Sistemas de Informao

Guia de Estruturao eAdministrao do Ambiente de

Cluster e Grid

1.0

Braslia DF

Presidente da RepblicaLuiz Incio Lula da Silva

Vice-Presidente da RepblicaJos de Alencar Gomes da Silva

Ministro de Estado do Planejamento, Oramento e GestoPaulo Bernardo Silva

Ministro de Estado da Casa CivilComit Executivo de Governo Eletrnico

Dilma Roussef

Secretrio de Logstica e Tecnologia da InformaoSecretrio Executivo de Governo Eletrnico

Rogrio Santanna dos Santos

Guia de Estruturao e Administrao do Ambiente de Cluster e Grid.Braslia, 2006.454 p. : il.

Inclui Bibliografia.

1. Cluster e Grid. 2. Governo Eletrnico. 3. Tecnologias daInformao e Comunicao. 4. Agregados Computacionais.

A menos que modifiquemos a nossa maneira de pensar, no seremos capazes deresolver os problemas causados pela forma como nos acostumamos a ver o mundo".

Albert Einstein

Realizao:

GUIA DE CLUSTER

Coordenao

Secretaria de Logstica e Tecnologia da Informao - SLTI

Ministrio do Planejamento, Oramento e Gesto

Colaborao Tcnico-Administrativa

Claudete Bezerra da SilvaDiego SacramentoFernando Mazoni

Especialistas Convidados

Alice BritoAdenauer YaminAugusto OvelarCsar A. F. De RoseDaniel Darlen Corra RibeiroElizeu Santos-NetoFernando IkeLucius Trindade Curado e SilvaMarco SinhoreliMario DantasPhilippe O. A. NavauxReinaldo J. MoreiraRodrigo Neves CalheirosRoberto Pires de CarvalhoTiaraj Asmuz DiverioWalfredo Cirne

Consultores Tcnicos

Alex Sandro SoaresElias Otvio de Paula MussiLeonardo Rodrigues de Mello

VERSAO 1.0 PGINA V

GUIA DE CLUSTER

Consultor Responsvel

Elias Otvio de Paula Mussi

Coordenao do Projeto de Cluster e Grid

Corinto MeffeElias Otvio de Paula MussiLeonardo Rodrigues de Mello

Coordenao Executiva

Corinto MeffeJos Antnio Borba SoaresLeandro Corte

Coordenao Geral

Rogrio Santanna dos Santos

VERSAO 1.0 PGINA VI

GUIA DE CLUSTER

Participao da Sociedade

A complexidade das tecnologias tratadas neste Guia requer a participao freqente da

sociedade. Este dilogo auxilia no aperfeioamento do contedo tcnico, na insero de

dados e ferramentas relacionados com a temtica e na correo de possveis inconsistn-

cias tcnicas.

O intuito de contar com a participao de especialistas, desde a primeira verso do Guia,

surge em funo da grande quantidade de tecnologias envolvidas, do grau de complexi-

dade das mesmas e pela necessidade de atingir as solues mais estveis e utilizadas nas

organizaes.

No seria possvel manter as informaes atualizadas e inserir o que h de mais moderno

em Cluster e Grid sem a participao da Sociedade.

Para tanto alguns colaboradores que encaminharam contedo merecem destaque por

atenderem as caractersticas descritas acima, so eles:

Contribuies registradas

Adenauer YaminAugusto OvelarDaniel Darlen Corra RibeiroElizeu Santos-NetoLucius Trindade Curado e SilvaMarco SinhoreliRoberto Pires de CarvalhoWalfredo Cirne

VERSAO 1.0 PGINA VII

GUIA DE CLUSTER

Histrico do Documento

Data Verso Autor Alterao01/12/05 0.0 Elias Mussi Estruturao do Sumrio01/02/06 0.1 Trabalhos provindos da

equipe interna da SLTI.Verso inicial de desenvolvi-mento de contedo.

10/02/06 0.1.5 Elias Mussi Proposta do Sistema de con-sulta e contribuio on-linepara o Guia de Cluster

05/05/06 0.2 Contribuies do Prof. Ade-nauer Yamin (PPAD), de Lu-cius Curado (SSI). Mais traba-lhos da equipe da SLTI

Sesses sobre Paralelismo e Sis-tema de Imagem nica (SSI).

17/06/06 0.3 Elias Mussi Disponibilizao do Sistemade Consulta e Colaboraodo Guia de Cluster no ende-reo http://guialivre.governoeletronico.

gov.br/guiaonline/

guiacluster/14/08/06 0.3.5 Equipe SLTI Expanso do contedo do do-

cumento, principalmente naparte III.

14/08/06 0.4 Contribuio de WalfredoCirne e Elizeu Santos-Neto.

Captulo Grid Computing.

01/09/06 0.4.5 Equipe SLTI Expanso de contedo, princi-palmente da Parte II.

04/10/06 0.5 Contribuio de Marco Si-nhoreli e trabalhos da EquipeSLTI

Captulo sobre Virtualizao;Expanso de contedo, princi-palmente da Parte III

22/10/06 0.6 Contribuio de Roberto Pi-res de Carvalho e trabalhosda Equipe SLTI

Sesso de ArmazenamentoDistribudo.

24/11/06 0.7 Equipe SLTI Expanso do contedo do do-cumento e correes.

01/04/07 1.0 Equipe SLTI Expanso do contedo e corre-es.

VERSAO 1.0 PGINA VIII

http://guialivre.governoeletronico.gov.br/guiaonline/guiacluster/http://guialivre.governoeletronico.gov.br/guiaonline/guiacluster/http://guialivre.governoeletronico.gov.br/guiaonline/guiacluster/http://guialivre.governoeletronico.gov.br/guiaonline/guiacluster/

GUIA DE CLUSTER

Nota Tcnica da Comisso de Redao

Este Guia foi elaborado pela equipe da Gerncia de Inovaes Tecnolgicas (GIT),do Departamento de Integrao de Sistemas de Informao (DSI), da Secretariade Logstica e Tecnologia da Informao (SLTI), do Ministrio do Planejamento,Oramento e Gesto (MP).

As diretrizes que compem este documento tm como base as definies do Go-verno Eletrnico Brasileiro e respaldo legal no Sistema de Administrao dosRecursos de Informao e Informtica - SISP, institudo atravs do DECRETOno1.048, de 21 de janeiro de 1994.

As orientaes tcnicas so fundamentadas em pesquisadores brasileiros e nasprincipais tecnologias pertinentes aos ambientes de Cluster e Grid.

A tecnologia de Cluster e Grid, embora recente, possui um amplo acervo de ar-quiteturas, modelos, ferramentas, middlewares e aplicativos.

A equipe tcnica responsvel pela elaborao deste documento conta com a co-laborao da Comunidade Acadmica e de Software Livre para suprir lacunasoriginadas pela complexidade e pela abrangncia do contedo do Guia de Clus-ter.

O lanamento desta verso final representa a consolidao dos trabalhos de in-sero de contedo e a devoluo sociedade do resultado do trabalho at esteinstante, o qual j conta com importantes colaboraes de membros da comuni-dade acadmica brasileira.

Colaboraes para este documento podem ser feitas atravs do stio http://guialivre.governoeletronico.gov.br/guiacluster/ e pelo e-mail:.

VERSAO 1.0 PGINA IX

http://guialivre.governoeletronico.gov.br/guiacluster/http://guialivre.governoeletronico.gov.br/guiacluster/[email protected]

GUIA DE CLUSTER

Distribuio

Secretaria de Logstica e Tecnologia da Informao. Verso 0.5Secretaria de Logstica e Tecnologia da Informao. Verso 0.6Secretaria de Logstica e Tecnologia da Informao. Verso 0.7Secretaria de Logstica e Tecnologia da Informao. Verso 1.0

Lanamentos Pblicos

Verso 0.5 Encontro Mineiro de Software Livre 2006.O Encontro Mineiro de Software Livre 2006, realizadona cidade de Ouro Preto - MG entre os dias 10-12 deoutubro de 2006 http://emsl.softwarelivre.org/.

Verso 0.5 ParGov - SBAC-PAD 2006.The 18th International Symposium on Computer Ar-chiteture and High Performance Computing", realizado nacidade de Ouro Preto - MG entre os dias 17-20 de outubrode 2006 http://www.sbc.org.br/sbac/2006/.

Verso 0.5 III Frum Goiano de Software Livre. Realizado na cidadede Goiania - GO entre os dias 27-28 de outubro de 2006.

Verso 0.6 IV CONISLI - Congresso Internacional de Software Livre.IV Congresso Internacional de Software Livre, realizado nacidade de So Paulo - SP entre os dias 03-05 de novembrode 2006 http://www.conisli.org.

Verso 0.6 III LatinoWare 2006 - III CONFERNCIA LATINOAMERI-CANA DE SOFTWARE LIVRE. Realizado na cidade de Fozdo Iguau - PR entre os dias 16 e 17 de Novembro de 2006.

Verso 1.0 8 FISL - 8 Frum Internacional Software Livre. Realizadona cidade de Porto Alegre - RS entre os dias 12 e 14 de abrilde 2007.

VERSAO 1.0 PGINA X

http://emsl.softwarelivre.org/http://www.sbc.org.br/sbac/2006/http://www.conisli.org

GUIA DE CLUSTER

Direitos Autorais

Governo Brasileiro a reproduo em parte ou totalmente autorizada desdeque a fonte seja reconhecida, de acordo com as orientaes da CC-GNU GPL1.

Figura 1: Creative Commons

1General Public License cujo contedo est disponibilizado no Apndice A.

VERSAO 1.0 PGINA XI

Sumrio

Sumrio xi

Lista de figuras xxiv

Lista de tabelas xxviii

1 Prefcio xxxi

1.1 Abreviaes e Terminologia . . . . . . . . . . . . . . . . . . . . . . . xxxi

1.2 Pblico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxxii

1.3 Autores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxxii

1.4 Agradecimentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxxiii

I Diretrizes Gerais 1

2 Governo Eletrnico e Novas Concepes Tecnolgicas 2

2.1 A Informtica Pblica Brasileira . . . . . . . . . . . . . . . . . . . . . 2

2.1.1 A Sociedade da Informao e a Inovao Tecnolgica . . . . 5

VERSAO 1.0 PGINA XII

GUIA DE CLUSTER SUMRIO

2.2 Governo Eletrnico Brasileiro . . . . . . . . . . . . . . . . . . . . . . 8

2.2.1 Diretrizes do Governo Eletrnico Brasileiro . . . . . . . . . . 10

2.2.2 Padres de Interoperabilidade de Governo Eletrnico . . . . 11

2.2.3 As Diretrizes do Governo Eletrnico e o Software Livre . . . 14

2.2.4 A Arquitetura de Cluster e Grid e as Diretrizes do GovernoEletrnico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.3 As Novas Demandas Computacionais . . . . . . . . . . . . . . . . . 18

2.3.1 Computao sob Demanda . . . . . . . . . . . . . . . . . . . 25

2.3.2 Aproveitamento de Ciclos Ociosos . . . . . . . . . . . . . . . 26

2.4 Dois Paradigmas Computacionais . . . . . . . . . . . . . . . . . . . 27

2.4.1 Computao de Grande Porte . . . . . . . . . . . . . . . . . . 28

2.4.2 Computao Distribuda . . . . . . . . . . . . . . . . . . . . . 30

2.4.3 Comparao: Grande Porte e Distribuda . . . . . . . . . . . 30

2.4.4 As Geraes da Computao Distribuda . . . . . . . . . . . 33

II Aspectos Gerenciais 35

3 Introduo 36

3.1 Vantagens Tcnicas de Utilizao de Cluster e Grid . . . . . . . . . 39

3.2 Arquitetura para sistemas crticos online em N Camadas . . . . . . 40

3.2.1 Camada de Aplicao . . . . . . . . . . . . . . . . . . . . . . 41

VERSAO 1.0 PGINA XIII


3.2.2 Camada de Banco de Dados . . . . . . . . . . . . . . . . . . . 41

3.2.3 Camada de Armazenamento . . . . . . . . . . . . . . . . . . 41

3.2.4 Diagrama da arquitetura proposta . . . . . . . . . . . . . . . 42

3.2.5 Consideraes sobre a arquitetura . . . . . . . . . . . . . . . 43

3.3 Possibilidades de Aplicaes Prticas de Cluster e Grid . . . . . . . 43

3.3.1 Cenrio - Aplicaes WEB . . . . . . . . . . . . . . . . . . . . 46

3.3.2 Cenrio - Minerao de Dados . . . . . . . . . . . . . . . . . 48

3.3.3 Cenrio - Processamento de Alto Desempenho . . . . . . . . 50

3.3.4 Cenrio - Alta Disponibilidade . . . . . . . . . . . . . . . . . 52

3.3.5 Cenrio - Banco de Dados . . . . . . . . . . . . . . . . . . . . 54

4 Viso Geral 56

4.1 A sensibilizao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

4.2 Os Recursos Humanos Envolvidos . . . . . . . . . . . . . . . . . . . 57

4.2.1 Aperfeioamento dos Tcnicos . . . . . . . . . . . . . . . . . 57

4.2.2 Consultoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

4.3 O Projeto de Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

4.3.1 O que deve ser observado . . . . . . . . . . . . . . . . . . . . 59

5 Processamento Paralelo: Sua Difuso e Uso 69

5.1 Aspectos para a Adoo do Processamento Paralelo . . . . . . . . . 70

VERSAO 1.0 PGINA XIV


5.1.1 Barreiras ao Crescimento da Freqncia de Operao dosProcessadores . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

5.1.2 Largura de Banda no Acesso Memria . . . . . . . . . . . . 71

5.1.3 Paralelismo Intrnseco do Mundo Real . . . . . . . . . . . . . 72

5.1.4 A Relao Custo-Benefcio dos Processadores de ltimaGerao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

5.1.5 Aplicaes Extremamente Complexas . . . . . . . . . . . . . 73

5.1.6 Suporte Tolerncia a Falhas . . . . . . . . . . . . . . . . . . 74

5.1.7 Crescimento Modular . . . . . . . . . . . . . . . . . . . . . . 74

5.1.8 Disponibilidade de Software Aplicativo . . . . . . . . . . . . 76

5.1.9 Relao entre a Teoria e a Tecnologia . . . . . . . . . . . . . . 77

III Aspectos Tcnicos 78

6 Conceitos Bsicos 79

6.1 Arquiteturas Computacionais . . . . . . . . . . . . . . . . . . . . . . 79

6.1.1 A Classificao de Flynn para Arquiteturas de Computadores 80

6.1.2 Multiprocessadores . . . . . . . . . . . . . . . . . . . . . . . . 86

6.1.3 Multicomputadores . . . . . . . . . . . . . . . . . . . . . . . 87

6.1.4 Multiprocessadores Simtricos (Symmetric Multiprocessors -SMP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

6.1.5 ccNUMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

VERSAO 1.0 PGINA XV


6.1.6 Processadores Massivamente Paralelos - MPP . . . . . . . . 88

6.1.7 Sistemas Distribudos . . . . . . . . . . . . . . . . . . . . . . 89

6.1.8 Clusters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

6.1.9 Grids . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

6.2 Dependabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

6.2.1 Ameaas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

6.2.2 Meios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

6.2.3 Atributos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

6.3 Escalonamento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

6.4 Alta Disponibilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

6.5 Balanceamento de Carga . . . . . . . . . . . . . . . . . . . . . . . . . 99

6.6 Redes de Comunicaes . . . . . . . . . . . . . . . . . . . . . . . . . 100

6.6.1 A Importncia da Rede de Comunicao . . . . . . . . . . . 100

6.6.2 Redes de Interconexo Utilizadas em Arquiteturas Paralelas 100

6.6.3 Topologias da Rede de Interconexo . . . . . . . . . . . . . . 103

6.6.4 Dispositivos de interconexo . . . . . . . . . . . . . . . . . . 106

6.7 Protocolos de Comunicao . . . . . . . . . . . . . . . . . . . . . . . 111

6.7.1 Frame Relay . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

6.7.2 Asynchronous Transfer Mode . . . . . . . . . . . . . . . . . . . 111

VERSAO 1.0 PGINA XVI


6.7.3 FDDI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

6.7.4 Modelo OSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

6.7.5 Protocolo IP . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

6.7.6 Transmission Control Protocol . . . . . . . . . . . . . . . . . . . 113

6.7.7 User Datagram Protocol . . . . . . . . . . . . . . . . . . . . . . 114

6.7.8 Real-time Transport Protocol . . . . . . . . . . . . . . . . . . . . 114

6.7.9 Virtual Router Redundancy Protocol . . . . . . . . . . . . . . . 114

7 Cluster de Armazenamento 117

7.1 Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

7.2 Block Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

7.2.1 Arranjo Redundante de Discos - RAID . . . . . . . . . . . . 119

7.2.2 RAID via Hardware e via Software . . . . . . . . . . . . . . . 120

7.2.3 Distributed Replicated Block Device - DRBD . . . . . . . . . . . 121

7.2.4 Global Network Block Device - GNBD . . . . . . . . . . . . . . 125

7.2.5 Internet SCSI - iSCSI . . . . . . . . . . . . . . . . . . . . . . . 127

7.3 Sistemas de Arquivos Distribudos . . . . . . . . . . . . . . . . . . . 130

7.3.1 Conceitos Bsicos . . . . . . . . . . . . . . . . . . . . . . . . . 130

7.3.2 Servios Oferecidos pelos SADs . . . . . . . . . . . . . . . . 133

7.3.3 Algumas Caractersticas Desejadas em SADs . . . . . . . . . 137

VERSAO 1.0 PGINA XVII


7.3.4 Network File System - NFS . . . . . . . . . . . . . . . . . . . 146

7.3.5 Andrew File System - AFS . . . . . . . . . . . . . . . . . . . . 150

7.3.6 Constant Data Availability - CODA . . . . . . . . . . . . . . 154

7.3.7 Lustre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

7.4 Sistemas de Arquivos Paralelos . . . . . . . . . . . . . . . . . . . . . 159

7.4.1 Parallel Virtual Filesystem Version 1 - PVFS . . . . . . . . . . . 159

7.4.2 Parallel Virtual Filesystem Version 2 - PVFS2 . . . . . . . . . . 163

8 Cluster de Aplicao 169

8.1 Linux Virtual Server - LVS . . . . . . . . . . . . . . . . . . . . . . . . . 170

8.1.1 Nomenclatura e abreviaes . . . . . . . . . . . . . . . . . . 171

8.1.2 Tipos de Cluster LVS . . . . . . . . . . . . . . . . . . . . . . . 172

8.1.3 Algoritmos de escalonamento . . . . . . . . . . . . . . . . . . 176

8.1.4 Casos de uso de LVS . . . . . . . . . . . . . . . . . . . . . . . 180

8.2 Cluster Tomcat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

8.2.1 Balanceamento de carga . . . . . . . . . . . . . . . . . . . . . 184

8.2.2 Compartilhamento de sesses . . . . . . . . . . . . . . . . . . 187

8.3 Heartbeat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

8.4 Zope Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

9 Cluster de Banco de Dados 194

VERSAO 1.0 PGINA XVIII


9.1 Banco de Dados Distribudos . . . . . . . . . . . . . . . . . . . . . . 199

9.2 Replicao de Banco de Dados . . . . . . . . . . . . . . . . . . . . . 199

9.3 PostgreSQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

9.3.1 PGpool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

9.3.2 PGcluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

9.3.3 Slony . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

9.4 Mysql . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

9.4.1 Replicao em MySQL . . . . . . . . . . . . . . . . . . . . . . 208

9.4.2 MySQL Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . 211

9.5 Middlewares independentes de Banco de Dados . . . . . . . . . . . . 212

9.5.1 Middleware Sequoia . . . . . . . . . . . . . . . . . . . . . . . 212

9.5.2 ParGRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

10 Alta Capacidade de Processamento - HPC 223

10.1 Beowulf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

10.2 Sistema de Imagem nica - SSI . . . . . . . . . . . . . . . . . . . . . 224

10.2.1 As Principais Caractersticas de um Cluster SSI . . . . . . . 225

10.2.2 Os Principais Benefcios de um Sistema SSI . . . . . . . . . . 227

10.2.3 Memria Distribuda Compartilhada - DSM . . . . . . . . . 228

10.2.4 OpenMosix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

VERSAO 1.0 PGINA XIX


10.2.5 Kerrighed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

11 Ferramentas de Programao Paralela 235

11.1 Troca de Mensagens (Message Passing) . . . . . . . . . . . . . . . . . 235

11.1.1 Parallel Virtual Machine - PVM . . . . . . . . . . . . . . . . . . 236

11.1.2 Message Passing Interface - MPI . . . . . . . . . . . . . . . . . 237

11.2 Relaes Entre o Hardware e o Software para Explorao do Parale-lismo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239

11.2.1 Relao entre Algoritmos e Arquiteturas Paralelas . . . . . . 240

11.2.2 Propriedades de um Modelo de Programao para o Pro-cessamento Paralelo . . . . . . . . . . . . . . . . . . . . . . . 244

11.3 A Explorao do Paralelismo: Nveis de Abstrao e Modelos . . . 249

11.3.1 Modelos nos quais o Paralelismo Explorado de Forma To-talmente Implcita . . . . . . . . . . . . . . . . . . . . . . . . 249

11.3.2 Modelos com Assinalamento do Paralelismo Explcito . . . 254

11.3.3 Modelos com Assinalamento e Decomposio do Parale-lismo Explcitos . . . . . . . . . . . . . . . . . . . . . . . . . . 257

11.3.4 Modelos com Assinalamento, Decomposio e Mapea-mento do Paralelismo Explcitos . . . . . . . . . . . . . . . . 259

11.3.5 Modelos com Assinalamento, Decomposio, Mapeamentoe Comunicao Explcitos . . . . . . . . . . . . . . . . . . . . 261

11.3.6 Modelos nos quais o Paralelismo Explorado de Forma To-talmente Explcita . . . . . . . . . . . . . . . . . . . . . . . . . 262

VERSAO 1.0 PGINA XX


12 Escalonadores de Tarefas 264

12.1 OpenPBS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

12.2 TORQUE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

12.3 MAUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

12.4 Crono . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268

13 Grids Computacionais 269

13.1 Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

13.2 Grids de Servios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274

13.2.1 Acesso a Servios . . . . . . . . . . . . . . . . . . . . . . . . . 274

13.2.2 Descoberta de Servios . . . . . . . . . . . . . . . . . . . . . . 276

13.2.3 Autenticao e Autorizao . . . . . . . . . . . . . . . . . . . 280

13.2.4 Privacidade de Dados . . . . . . . . . . . . . . . . . . . . . . 281

13.2.5 Composio de Servio . . . . . . . . . . . . . . . . . . . . . 282

13.2.6 Disponibilizao de Servios . . . . . . . . . . . . . . . . . . 284

13.2.7 Padronizao . . . . . . . . . . . . . . . . . . . . . . . . . . . 290

13.3 Grids para Alto Desempenho . . . . . . . . . . . . . . . . . . . . . . 294

13.3.1 Plataformas para Processamento Paralelo . . . . . . . . . . . 294

13.3.2 Execuo Remota . . . . . . . . . . . . . . . . . . . . . . . . . 300

13.3.3 Escalonamento . . . . . . . . . . . . . . . . . . . . . . . . . . 300

VERSAO 1.0 PGINA XXI


13.3.4 Imagem do Sistema . . . . . . . . . . . . . . . . . . . . . . . . 313

13.3.5 Segurana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

13.4 Estudos de Caso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318

13.4.1 Globus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318

13.4.2 MyGrid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327

13.4.3 OurGrid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331

13.4.4 Condor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335

13.5 Integrao de clusters em grids . . . . . . . . . . . . . . . . . . . . . 337

13.5.1 Globus GRAM . . . . . . . . . . . . . . . . . . . . . . . . . . 339

13.5.2 Alocao transparente de recursos . . . . . . . . . . . . . . . 339

13.6 Tendncias em Grids Computacionais . . . . . . . . . . . . . . . . . 340

14 Virtualizao de recursos 342

14.1 Principais tipos de virtualizao . . . . . . . . . . . . . . . . . . . . 342

14.1.1 Virtualizao por software . . . . . . . . . . . . . . . . . . . . 343

14.1.2 Virtualizao nativa . . . . . . . . . . . . . . . . . . . . . . . 344

14.2 XEN - Xen virtual machine monitor . . . . . . . . . . . . . . . . . . . . 345

14.2.1 Comparao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346

14.2.2 Sistema Operacional nativo versus virtualizao com Xen . 347

14.2.3 Paravirtualizao no Xen . . . . . . . . . . . . . . . . . . . . 348

VERSAO 1.0 PGINA XXII


IV Apndices 350

A Licena CC-GNU GPL 351

B Marcas Registradas 361

C Lista de Abreviaturas 363

D Tecnologias 368

E Glossrio 371

F O Ambiente LabCluster 380

F.1 Histrico do LabCluster . . . . . . . . . . . . . . . . . . . . . . . . . 381

F.2 Misso do LabCluster . . . . . . . . . . . . . . . . . . . . . . . . . . . 383

F.3 Descrio do Ambiente LabCluster . . . . . . . . . . . . . . . . . . . 383

F.4 Infra-estrutura de Hardware . . . . . . . . . . . . . . . . . . . . . . . 384

F.5 Poltica de Utilizao do Ambiente LabCluster . . . . . . . . . . . . 384

G Outros Documentos Produzidos 386

Referncias Bibliogrficas 387

VERSAO 1.0 PGINA XXIII

Lista de Figuras

1 Creative Commons . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi

2.1 Evoluo da carga de processamento e a utilizao da computaode grande porte. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.2 Evoluo da carga de processamento e a utilizao da soluo deprocessamento distribudo. . . . . . . . . . . . . . . . . . . . . . . . 31

3.1 Evoluo da utilizao de Arquiteturas de alto desempenho. FonteTop500.org . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.2 Evoluo da utilizao de S.O. Fonte Top500.org . . . . . . . . . . . 37

3.3 Evoluo da utilizao por segmento de mercado. Fonte Top500.org 38

3.4 Esquema do modelo de cluster proposto. . . . . . . . . . . . . . . . 42

3.5 Sistema de alta disponibilidade com dois servidores sendo aces-sados por 4 clientes. Um dos servidores Primrio(ativo) e outroSecundrio(passivo) . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

5.1 Relao Carga X Custo de investimento, para plataforma Baixa XAlta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

6.1 Blocos bsicos dos computadores seqenciais . . . . . . . . . . . . . 79

VERSAO 1.0 PGINA XXIV

GUIA DE CLUSTER LISTA DE FIGURAS

6.2 Arquitetura genrica de multiprocessador de memria . . . . . . . 81

6.3 Arquitetura genrica de multiprocessador de memria comparti-lhada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

6.4 Arquitetura genrica sncrona matricial . . . . . . . . . . . . . . . . 86

6.5 Alternativas para conectar o processador a rede de interconexo . . 102

6.6 Topologia em barramento . . . . . . . . . . . . . . . . . . . . . . . . 104

6.7 Topologia em malha . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

6.8 Topologia em hipercubo . . . . . . . . . . . . . . . . . . . . . . . . . 105

6.9 Topologia em rvore . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

6.10 Esquema de funcionamento de um sistema VRRP . . . . . . . . . . 115

7.1 Viso do nvel conceitual de funcionamento do DRBD. . . . . . . . 123

7.2 Fluxo de intercomunicao entre as camadas dos dispositivos Li-nux - repare que o DRBD no tem como notificar o mdulo dosistema de arquivos - mas o oposto ocorre. . . . . . . . . . . . . . . 124

7.3 Exemplo de cenrio GNBD . . . . . . . . . . . . . . . . . . . . . . . 127

7.4 Exemplo de uma rvore de diretrios . . . . . . . . . . . . . . . . . 131

7.5 Estrutura de diretrios distribuda . . . . . . . . . . . . . . . . . . . 136

7.6 Volumes, VSGs e AVSGs . . . . . . . . . . . . . . . . . . . . . . . . . 155

7.7 Viso Geral do PVFS . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

7.8 Clientes acessando o PVFS . . . . . . . . . . . . . . . . . . . . . . . . 162

7.9 Fluxo de dados pelo kernel . . . . . . . . . . . . . . . . . . . . . . . 162

VERSAO 1.0 PGINA XXV


8.1 Esquema geral de um Linux Virtual Server . . . . . . . . . . . . . . 171

8.2 LVS-NAT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

8.3 LVS-DR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

8.4 LVS-Tun . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

8.5 Viso geral de um cluster Tomcat . . . . . . . . . . . . . . . . . . . . 183

8.6 Balanceamento de carga via DNS Round-Robin . . . . . . . . . . . . 185

8.7 Balanceamento de carga via Apache mod_jk . . . . . . . . . . . . . 186

8.8 DNS round-robin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

8.9 ZEO/ZODB + LVS+OCFS2 . . . . . . . . . . . . . . . . . . . . . . . 193

9.1 Arquitetura PG-pool . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

9.2 Sistema de balanceamento de carga . . . . . . . . . . . . . . . . . . . 205

9.3 Sistema de alta disponibilidade . . . . . . . . . . . . . . . . . . . . . 206

9.4 Princpio do Sequoia . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

9.5 Exemplo de RAIDb-0 . . . . . . . . . . . . . . . . . . . . . . . . . . . 217

9.6 Exemplo de RAIDb-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

9.7 Exemplo de RAIDb-2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

9.8 Exemplo de RAIDb-1-0 . . . . . . . . . . . . . . . . . . . . . . . . . . 220

9.9 Exemplo de RAIDb-0-1 . . . . . . . . . . . . . . . . . . . . . . . . . . 220

11.1 Modelo Para Computao Paralela . . . . . . . . . . . . . . . . . . . 244

VERSAO 1.0 PGINA XXVI


11.2 Nmeros de Fibonacci em Programao Funcional . . . . . . . . . . 250

11.3 Fontes de Paralelismo na Programao em Lgica . . . . . . . . . . 253

13.1 Acesso transparente a servios e recursos . . . . . . . . . . . . . . . 270

13.2 Acessando um servio usando RMI . . . . . . . . . . . . . . . . . . . 275

13.3 Acessando um servio usando CORBA [14] . . . . . . . . . . . . . . . 276

13.4 Interao entre cliente e provedor (Web Services) [345] . . . . . . . 277

13.5 Ilustrao da arquitetura OurGrid [36] . . . . . . . . . . . . . . . . . 289

13.6 Relacionamento entre OGSA, OGSI e Globus [345] . . . . . . . . . . . 292

13.7 Arquitetura multiprocessada . . . . . . . . . . . . . . . . . . . . . . 296

13.8 Arquitetura de um MPP . . . . . . . . . . . . . . . . . . . . . . . . . 296

13.9 Arquitetura de uma NOW . . . . . . . . . . . . . . . . . . . . . . . . 297

13.10Arquitetura de um Grid Computacional . . . . . . . . . . . . . . . . 298

13.11Ilustrao de um cenrio composto de vrios escalonadores . . . . 302

13.12Jacobi executando em quatro processadores em um MPP . . . . . . 305

13.13Escalonamento feito pelo Jacobi AppLes . . . . . . . . . . . . . . . . 307

13.14Desempenho do WQR . . . . . . . . . . . . . . . . . . . . . . . . . . . 309

13.15Desperdcio de ciclos com a replicao . . . . . . . . . . . . . . . . . 310

13.16Sumrio do desempenho de Storage Affinity comparado com outrasheursticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311

VERSAO 1.0 PGINA XXVII


13.17Sumrio do desperdcio de recursos por Storage Affinity comparadocom outras heursticas . . . . . . . . . . . . . . . . . . . . . . . . . . 312

13.18Arquitetura do GRAM [133] . . . . . . . . . . . . . . . . . . . . . . . 321

13.19Delegao entre escalonadores de aplicao [133] . . . . . . . . . . . 322

13.20Exemplo do uso de escalonadores no Globus [133] . . . . . . . . . . 323

13.21Arquitetura do Globus [345] . . . . . . . . . . . . . . . . . . . . . . . 327

13.22Arquitetura do MyGrid . . . . . . . . . . . . . . . . . . . . . . . . . 329

13.23Condor protocol [85] . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

13.24Utilizao de clusters em grids. . . . . . . . . . . . . . . . . . . . . . 338

A.1 Creative Commons . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351

VERSAO 1.0 PGINA XXVIII

Lista de Tabelas

2.1 Diferenas entre computao de grande porte e distribuda . . . . 32

3.1 Tabela Cenrio 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

6.1 Formas bsicas de tolerncia falhas. Fonte DANTAS [136] . . . . 93

6.2 Nveis de Alta Disponibilidade . . . . . . . . . . . . . . . . . . . . . 99

8.1 Exemplos de Stios que utilizam LVS . . . . . . . . . . . . . . . . . . 181

11.1 Relao entre as caractersticas do hardware e do software paralelo . 241

13.1 Comparao entre as plataformas de execuo para aplicaes pa-ralelas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300

13.2 Grid Machine Interface . . . . . . . . . . . . . . . . . . . . . . . . . . 328

B.1 Tabela de Referncia de Marcas Registradas . . . . . . . . . . . . . . 362

C.1 Lista de Abreviaturas . . . . . . . . . . . . . . . . . . . . . . . . . . . 367

D.1 Tabela de referncias de tecnologias . . . . . . . . . . . . . . . . . . 370

VERSAO 1.0 PGINA XXIX

GUIA DE CLUSTER LISTA DE TABELAS

F.1 Tabela de Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

VERSAO 1.0 PGINA XXX

Captulo 1

Prefcio

1.1 Abreviaes e Terminologia

Sempre que possvel, na primeira vez em que uma abreviao for usada, serincluda tambm a verso por extenso. No Apndice E encontra-se um glossriode termos tcnicos utilizados.

O Termo cluster utilizado neste documento se referindo as diversas implementa-es de compartilhamento de recursos computacionais. Tipicamente, um clusterutiliza os recursos de dois ou mais dispositivos de computao1 em conjunto paraum propsito comum. Exemplos de cluster so: Cluster de Processamento deAlto Desempenho ou HPC, Cluster de Balanceamento de Carga e Alta Disponibi-lidade, Cluster de Banco de Dados e Cluster de Armazenamento. Um outro termocomumente usado o de aglomerado de computadores, utilizado com frequnciapela comunidade acadmica brasileira.

Muitas vezes estes ambientes clusterizados"so construdos a partir de compu-tadores convencionais (estaes de trabalho), ou seja, vrios computadores co-muns ligados em rede que se comunicam e trabalham como se fosse uma m-quina de grande porte, com capacidade de suportar um ambiente de grande de-manda computacional.

1Estes dispositivos tambm podem funcionar separadamente

VERSAO 1.0 PGINA XXXI

GUIA DE CLUSTER 1.2 - PBLICO

O Grid Computacional (The Computational Grid), uma rede de execuo de apli-caes paralelas em recursos geograficamente dispersos e pertencentes a mlti-plas organizaes. A tecnologia de grids cria a oportunidade de oferecer serviossob demanda. Assim,Grid onde se torna possvel prover sob demanda qualquerservio computacional (no somente servios para computao de alto desempe-nho).

Os termos Software de Fonte Aberta (Open Source Software) e Software Livre (FreeSoftware) tem seus defensores e suas diferenas conceituais e jurdicas. Neste tra-balho, usaremos o termo Software Livre por se tratar de uma poltica estratgicado governo e pela inteno de destacar as caractersticas que o diferenciam doSoftware de Fonte Aberta, especialmente sua disponibilizao no modelo da Li-cena Pblica Geral (GPL).

Os termos do Sistema Operacional, como nomes de arquivos, sero apresentadosdesta forma: Nome de arquivo.

Cdigos de programas sero apresentados da forma: Cdigo.

1.2 Pblico

Este Documento dirigido aos gerentes e tcnicos de Tecnologia da Informao(TI) de todo o Governo Federal Brasileiro, e pode ser utilizado nos outros pode-res: Executivo, Legislativo e Judicirio; servindo tambm como referncia paraos governos estaduais e municipais que tenham interesse em conhecer e utilizartecnologias de cluster e grid.

1.3 Autores

Os autores deste documentos so principalmente membros da equipe da Gern-cia de Inovaes Tecnolgicas (GIT), do Departamento de Integrao de Sistemas(DSI), da Secretria de Logstica e Tecnologia da Informao (SLTI) do Ministriodo Planejamento, Oramento e Gesto.

VERSAO 1.0 PGINA XXXII

GUIA DE CLUSTER 1.4 - AGRADECIMENTOS

Muitas contribuies de pessoas e instituies externas tambm foram includasneste Guia e esto devidamente registradas na parte inicial deste documento.

1.4 Agradecimentos

Agradecemos a todos as pessoas que participaram da construo deste docu-mento, em especial aquelas que nos enviaram contribuies. A grande maioriadessas pessoas esto citadas na sesso Coordenao e Participao da Sociedade,no incio deste documento.

A Coordenao Executiva agradece ao apoio do Secretrio de Logstica e Tecno-logia da Informao, Rogrio Santanna dos Santos, pela condio de ser o grandeincentivador para a insero desta tecnologia na Administrao Pblica Federal(APF); ao Diretor do Departamento de Integrao de Sistemas de Informao,Leandro Crte e ao ex-diretor Jos Antnio Borba Soares pelo apoio permanente.

Agradecimentos especiais pelos materiais cedidos para o Guia, para os colabo-radores: Adenauer Yamin, Daniel Darlen Corra Ribeiro, Elizeu Santos-Neto,Lucius Trindade Curado e Silva, Marco Sinhoreli, Roberto Pires de Carvalho eWalfredo Cirne.

VERSAO 1.0 PGINA XXXIII

Parte I

Diretrizes Gerais

VERSAO 1.0 PGINA 1

Captulo 2

Governo Eletrnico e NovasConcepes Tecnolgicas

2.1 A Informtica Pblica Brasileira

As primeiras empresas de informtica pblica surgiram em 1964, inseridas numcenrio onde o pas ainda buscava desenvolver a economia sustentada no setoragrrio. Naquela poca, o termo corrente para designar o que hoje conhecemoscomumemente como informtica era processamento de dados" , termo que noincorporava ainda os recursos de comunicao presentes no cenrio da chamadainformtica" atual. Ademais, as polticas de informao eram estritamente rela-cionadas ao tema da segurana do Estado (Torres [134]).

Nos anos seguintes, em especial na dcada de 70, o Brasil experimentou taxasde crescimento expressivas, apoiadas na forte presena do investimento estatal.Ao final deste perodo o domnio da tecnologia foi apontado como um fator de-terminante, dentre outros, para a superao do problema de gerao de dficitspersistentes, tornando o clima propcio para a intensificao dos investimentospblicos em informtica, ao lado de uma poltica protecionista indstria nacio-nal(Torres [134]).

Um exemplo desta poltica protecionista foi a Poltica Nacional de Informtica(PNI), Lei 7.232, aprovada em 29 de Outubro de 1984 pelo Congresso Nacional,

VERSAO 1.0 PGINA 2

GUIA DE CLUSTER 2.1 - A INFORMTICA PBLICA BRASILEIRA

com prazo de vigncia previamente estabelecido em 8 anos. A Lei tinha comoobjetivo estimular o desenvolvimento da indstria de informtica no Brasil, pormeio do estabelecimento de uma reserva de mercado para as empresas de capitalnacional.

Apesar da importncia neste perodo do domnio nacional da tecnologia, alme-jando a utilizao de tecnologias consideradas na poca de ponta", o Estado Bra-sileiro acabou por se tornar, de certa forma, um vido consumidor tecnolgico.Um grande parque computacional heterogneo foi estruturado baseado no pa-radigma da computao de grande porte, num momento em que as tecnologiascomputacionais eram desenvolvidas por empresas multinacionais e, posterior-mente internalizadas no governo, sem um estmulo de pesquisa s universidadesbrasileiras, bem como ao mercado das empresas nacionais.

Neste paradigma computacional, a grande capacidade de processamento de tran-saes simultneas e alta disponibilidade dos servios esto diretamente relacio-nadas ao hardware especializado produzido por poucas empresas no mundo. Estemodelo amplamente adotado, consolidou a base do processo de automatizao eestruturao de sistemas e implementao de servios, que hoje atinge todos ossegmentos do Setor Pblico.

A falta de padres abertos e o hardware especializado acabam por tornar o pro-cesso de negociao do governo para a aquisio de novos equipamentos e ser-vios uma atividade limitada e desproporcional. Com poucas empresas capazesde produzir e/ou prestar os servios para o atendimento das demandas e algu-mas vezes a ausncia de concorrncia de empresas na oferta de bens e servios aogoverno, desenvolveram-se diversas relaes de dependncia tecnolgica com osfornecedores. Isto ocorre em funo das caractersticas deste paradigma compu-tacional, onde as tecnologias de computao de grande porte possuem um ele-vado custo total de propriedade, serem utilizados majoritariamente em grandesprojetos e sistemas do governo.

A informtica dentro do setor pblico brasileiro estruturou-se de maneira frag-mentada e isolada, tendo criado, diversas ilhas tecnolgicas e sistemas sem pa-dres transversais, o que dificulta e algumas vezes inviabiliza a integrao, sendoesta realizada, parcialmente, atravs de pontes", como por exemplo SERPRO1

1O Servio Federal de Processamento de Dados (SERPRO) a maior empresa pblica de pres-tao de servios em tecnologia da informao do Brasil, maiores informaes em:

VERSAO 1.0 PGINA 3

GUIA DE CLUSTER 2.1 - A INFORMTICA PBLICA BRASILEIRA

e DATAPREV2, responsveis pela interligao destas diversas ilhas tecnolgicasheterogneas. Ademais, as iniciativas de governo eletrnico, a presso e a co-brana da sociedade brasileira pela transparncia e otimizao do uso de recur-sos pblicos, bem como, o combate corrupo e fraude so cada vez maisinfluentes, aumentando a necessidade de integrao dos sistemas e o poder com-putacional necessrio para realizar anlises complexas de imensas bases de dadosexistentes no governo.

As aes de modernizao da mquina pblica desde o Plano Nacional de Des-burocratizao3 at a Reforma Administrativa [175] , no foram capazes de atin-gir os ambientes de tecnologia da informao e comunicao e os sistemas deinformao do governo. Isto ocorreu pela dissociao entre a reformulao dosprocessos administrativos e o modelo de informatizao proposto.

Realizar estas mudanas e atender a necessria otimizao da mquina pblica,de forma a melhor atender o cidado, dificultado ou inviabilizado no para-digma da computao de grande porte, seja por conta dos recursos e investi-mentos necessrios para se estabelecer esse processo, seja pela dificuldade parase integrar sistemas, imposta pela falta de padres. Diante deste cenrio se faznecessria a busca por alternativas computacionais inovadoras interoperveis,plenamente auditveis, independentes de fornecedor, economicamente sustent-veis para sistemas crticos governamentais e que fomentem o desenvolvimento epesquisa de novas tecnologias.

Buscando reverter este quadro de dependncia tecnolgica o governo brasileirotem investido, atravs do Ministrio da Cincia e Tecnologia e de parcerias en-tre empresas pblicas e universidades, no desenvolvimento de tecnologias deCluster e Grid, baseadas em software livre e voltadas para aplicao de governoeletrnico. Estas tecnologias de Cluster e Grid tm sido largamente utilizadas eminstituies de pesquisa e empresas privadas e estatais, alguns exemplos so: Pe-

http://www.serpro.gov.br/.2A Empresa de Processamento de Dados da Previdncia Social (Dataprev), ela a responsvel

pelo processamento da maior folha de pagamento do pas, alcanando mais de 20 milhes debeneficirios/ms. Maiores informaes em: http://www.dataprev.gov.br.

3O Programa Nacional de Desburocratizao da Secretaria de Gesto do Ministrio do Planeja-mento, Oramento e Gesto, Decreto no 3335, de 11 de janeiro de 2000, que previa: Desburocrati-zar a Administrao Pblica fundamental para preparar o pas aos novos desafios. imperativoque o Estado se mostre gil e competente no atendimento de seus cidados, como tambm im-prescindvel que esses no se intimidem ao procurar os servios pblicos e que tenham certezada boa qualidade e da eficincia do servio prestado".

VERSAO 1.0 PGINA 4

http://www.serpro.gov.br/http://www.dataprev.gov.br

GUIA DE CLUSTER 2.1.1 - A SOCIEDADE DA INFORMAO E A INOVAO TECNOLGICA

trobras, Sistema Nacional de Processamento de Alto Desempenho (SINAPAD),Instituto de Pesquisas Espaciais (INPE), Laboratrio Nacional de ComputaoCientfica (LNCC), Google, HP, IBM, Sun, Itautec, Departamento de Defesa Ame-ricano (DOD), National Center for Supercomputing Applications (NCSA), entre ou-tros.

importante salientar que um fator decisivo para a adoo de tecnologias decluster e grid no governo brasileiro est relacionada possibilidade de reverter oquadro de consumismo tecnolgico desenvolvido ao longo das ltimas 2 (duas)dcadas e promover o domnio e independncia tecnolgica do Estado Brasileiro.

Existe uma mudana de paradigma entre as tecnologias de computao distri-buda e de computao de grande porte. Na computao distribuda o impor-tante no a capacidade de processamento"de um nico equipamento, mas sima capacidade de processamento coletiva" de um conjunto de equipamentos.Nesta abordagem vrios equipamentos com pouca capacidade podem formar umambiente com grande capacidade de processamento e caso ocorra a falha de umequipamento, o outro assumir a sua funo sem prejuzo para a execuo dosistema. Desta forma, existe a reduo da necessidade de equipamentos comhardware especfico, tolerante a falhas e com redundncia.

Atravz da utilizao de hardware padro x86 (pc) e sem a necessidade de redun-dncias e dispositivos especiais no hardware possvel construir sistemas comhardware de baixo custo, compatvel com padres abertos e internacionais, redu-zindo a dependncia de fornecedores. Com o emprego de solues baseadas emsoftware livre possvel ainda eliminar a dependncia tecnolgica e estimular odesenvolvimento de solues pelos centros de pesquisa, universidades, rgosde governo e empresas privadas, devido as caractersticas de licenciamento dosoftware livre que permitem utilizar o software para qualquer fim, com liberdadepara distribuio, alterao e cpia.

2.1.1 A Sociedade da Informao e a Inovao Tecnolgica

Para a insero neste novo cenrio mundial da economia voltada informao etecnologia, cada pas desenvolveu estratgias que levou em considerao o seugrau de desenvolvimento tecnolgico conjugado com as suas peculiaridades. No

VERSAO 1.0 PGINA 5


Brasil, o marco inicial desse processo foi a criao do programa Sociedade daInformao, por meio do Decreto no 3.294, de 15 de dezembro de 1999, com oobjetivo de viabilizar a nova gerao da Internet e suas aplicaes em benefcioda Sociedade Brasileira4", estruturado em sete linhas de ao:

Mercado, trabalho e oportunidades;

Universalizao de servios para a cidadania;

Educao na sociedade da informao;

Contedos e identidade cultural;

Governo ao alcance de todos;

P&D, tecnologias-chave e aplicaes;

Infra-estrutura avanada e novos servios.

Esse programa busca contribuir, de forma efetiva, para:

a construo de uma sociedade mais justa, em que sejam observados princ-pios e metas relativos preservao de nossa identidade cultural, fundadana riqueza da diversidade;

a sustentabilidade de um padro de desenvolvimento que respeite as dife-renas e busque o equilbrio regional;

a efetiva participao social, sustentculo da democracia poltica.

Com tal esforo, em setembro de 2000, o Governo brasileiro produziu, dentreoutros documentos, o chamado Livro Verde"[135], que identificou o conjuntodas aes estabelecidas para impulsionar a Sociedade da Informao no Brasil,contemplando ampliao do acesso Internet, meios de conectividade, formaode recursos humanos, incentivo pesquisa e ao crescimento, comrcio eletrnicoe desenvolvimento de novas aplicaes (Guia Livre [151]).

4 O objetivo do Programa Sociedade da Informao integrar, coordenar e fomentar aes para a utili-zao de tecnologias de informao e comunicao, de forma a contribuir para que a economia do pas tenhacondies de competir no mercado global e, ao mesmo tempo, contribuir para a incluso social de todos osbrasileiros na nova sociedade" disponvel em http://www.socinfo.org.br/sobre/programa.htm.

VERSAO 1.0 PGINA 6

http://www.socinfo.org.br/sobre/programa.htm


A sociedade da informao no um modismo. Representa uma profunda mu-dana na organizao da sociedade e da economia, havendo quem a considereum novo paradigma tcnico-econmico. um fenmeno global, com elevado po-tencial transformador das atividades sociais e econmicas, uma vez que a estru-tura e a dinmica dessas atividades inevitavelmente sero, em alguma medida,afetadas pela infra-estrutura de informaes disponvel. tambm acentuadasua dimenso poltico-econmica, decorrente da contribuio da infra-estruturade informaes para que as regies sejam mais ou menos atraentes em relaoaos negcios e empreendimentos (Livro Verde [135]).

Na sociedade da informao, o cenrio econmico transforma-se de tal modo quea inovao e a converso de conhecimento em vantagem competitiva passam aconstituir importantes diferenciais. Da rapidez na gerao e difuso de inova-es, decorrem a drstica diminuio da vida til dos produtos e a necessidadede modernizao contnua da produo e da comercializao de bens e servios.Da converso do conhecimento surgem as possibilidades de se incorporar os be-nefcios da tecnologia com maior agilidade.

Para a nova economia, no basta dispor de uma infra-estrutura moderna decomunicao; preciso competncia para transformar informao em conheci-mento. A educao um elemento-chave para a construo de uma sociedade dainformao e condio essencial para que pessoas e organizaes estejam aptas alidar com o novo, a criar e, assim, garantir seu espao de liberdade e autonomia.O desafio, portanto, duplo: superar antigas deficincias e criar as competnciasrequeridas pela nova economia.

O governo, nos nveis federal, estadual e municipal, tem o papel de assegurar oacesso universal s tecnologias da informao e comunicao e a seus benefcios,independentemente da localizao geogrfica e da situao social do cidado,garantindo nveis bsicos de servios, estimulando a interoperabilidade de tec-nologias e de redes. A sociedade civil deve zelar para que o interesse pblicoseja resguardado, buscando organizar-se para monitorar e influenciar, sistemati-camente, os poderes pblicos e as organizaes privadas (Livro Verde [135]).

Assim desafios da sociedade da informao demandam cada vez mais umagrande quantidade de recursos computacionais, devido a ampla difuso de ser-vios e aplicaes ao pblico geral, em especial aos cidados. Neste contexto, oLivro Verde" aponta uma srie de tecnologias consideradas chave para o desen-

VERSAO 1.0 PGINA 7

GUIA DE CLUSTER 2.2 - GOVERNO ELETRNICO BRASILEIRO

volvimento deste processo, dentre estas tecnologias encontra-se o Processamentode Alto Desempenho, abordado no captulo 8, que ilustra os seguintes tipos deaplicaes: Genoma humano, Disperso de poluio, Biologia estrutural, Previ-so meteorolgica, Modelagens de Informao.

Esta tecnologia pode ainda ser largamente aplicada para aperfeioar a prpriagesto do governo - coordenao, planejamento, execuo e controle de aes,contabilidade pblica, etc. - e suas transaes comerciais com o setor privado. Oconjunto dessas demandas e das Diretrizes de Governo Eletrnico, de utilizaoda WEB para prestao da maior parte destes servios, estes que tm uma grandedemanda computacional, com grande quantidade de acesso, usurios simult-neos e alta demanda de processamento, acabam trazendo tona as arquiteturasde cluster e grid computacional. Existem outros exemplos do uso das tecnologiasde informao e comunicao pela mquina administrativa pblica, dentre eles:a prestao de informaes ligadas aos servios pblicos, o acompanhamento dasaes de governo e conduo dos negcios pblicos (por ex. compras governa-mentais), o acesso direto aos governantes e representantes eleitos.

O setor governamental o principal indutor de aes estratgicas rumo Soci-edade da Informao. Primeiramente, porque cabe ao governo definir o quadroregulatrio dentro do qual projetos e iniciativas concretas podero ser formula-das. Segundo, porque como regra o governo o maior comprador/contratadorde bens e servios em tecnologias de informao e comunicao em um pas. As-sim, uma deciso do governo em apoio a uma tecnologia ou servio pode abriralgumas avenidas de atividades ao setor privado, bem como conduzir outras abecos sem sada. Terceiro, porque o governo, com o uso exemplar de tecnologiasde informao e comunicao em suas atividades, pode acelerar grandementeo uso dessas tecnologias em toda a economia, em funo da maior eficincia etransparncia de suas prprias aes"(Livro Verde [135]).

2.2 Governo Eletrnico Brasileiro

O Governo Eletrnico foi concebido como instrumento de transformao da so-ciedade brasileira, estabelecendo diretrizes e parmetros para a criao de umasociedade digital.

VERSAO 1.0 PGINA 8

GUIA DE CLUSTER 2.2 - GOVERNO ELETRNICO BRASILEIRO

Com o passar do tempo, a chamada Sociedade da Informao apresentou no-vos paradigmas que mereciam igualmente a ateno do Governo Eletrnico.

Assim, em suas diretrizes, foram explicitados:

[...] O papel do Estado neste mundo em transformao continua funda-

mental como agente estratgico para o atendimento da demanda de maior

participao direta dos cidados e, ao mesmo tempo, a tomada de decises

centrais estratgicas e rpidas.

O crescimento das informaes em rede, o aumento da transparncia, e a

conseqente diminuio da burocracia estatal, aumentaro o controle social

sobre o Estado, o que contribuir para a democratizao do processo decis-

rio e para uma maior efetividade da ao governamental.

Neste ambiente de transformaes, o Governo Eletrnico pretende ser um

agente democrtico, estratgico, socialmente justo e ao mesmo tempo efici-

ente na prestao de servios aos seus cidados.(Vide stio do Governo Ele-

trnico [6]) "

Com a preocupao de melhor adequar o Pas a esse cenrio, foram criados, pormeio de decreto de 29 de outubro de 2003, comits tcnicos especficos no mbitodo Comit Executivo do Governo Eletrnico: Implementao de Software Livre,Incluso Digital, Integrao de Sistemas, Sistemas Legados e Licenas de Soft-ware, Gesto de Stios e Servios On-Line, Infra-Estrutura de Rede, Governo paraGoverno (G2G), Gesto de Conhecimento e Informao Estratgica.

Segundo o stio do Governo Eletrnico[6], as principais linhas de ao do PoderExecutivo Federal em tecnologia da informao e comunicao esto estrutura-das na direo a um governo eletrnico que procura promover: a universalizaodo acesso aos servios, a transparncia das suas aes, a integrao de redes e oalto desempenho dos seus sistemas. Neste sentido o governo vem atuando emtrs frentes fundamentais: a interao com o cidado, a melhoria da sua prpriagesto interna, e a integrao com parceiros e fornecedores. Neste processo importante o compartilhamento de recursos do governo, a unicidade e troca deinformaes entre aplicaes, e a responsabilizao e credenciamento de gestoresda informao, que permita uma integrao das redes de governo, com indepen-dncia, respeitando as peculiaridades setoriais dos rgos.

VERSAO 1.0 PGINA 9

GUIA DE CLUSTER 2.2.1 - DIRETRIZES DO GOVERNO ELETRNICO BRASILEIRO

2.2.1 Diretrizes do Governo Eletrnico Brasileiro

Em decorrncia do Decreto de 29 de outubro de 2003, a implementao do Go-verno Eletrnico passou a ser realizada segundo sete princpios, que foram assimconcebidos5:

[...] como referncia geral para estruturar as estratgias de interveno, ado-

tadas como orientaes para todas as aes de Governo Eletrnico, gesto do

conhecimento e gesto da TI no governo federal[6]:

1. A prioridade do Governo Eletrnico a promoo da cidadania.

2. A Incluso Digital indissocivel do Governo Eletrnico.

3. O Software Livre um recurso estratgico para a implementao do

Governo Eletrnico.

4. A gesto do conhecimento um instrumento estratgico de articulao

e gesto das polticas pblicas do Governo Eletrnico.

5. O Governo Eletrnico deve racionalizar o uso de recursos.

6. O Governo Eletrnico deve contar com um arcabouo integrado de po-

lticas, sistemas, padres e normas.

7. Integrao das aes de Governo Eletrnico com outros nveis de go-

verno e outros poderes.

Nesse novo contexto, a atuao do Governo Eletrnico pretende melhorar a pres-tao de servios aos cidados, com aumento da transparncia e diminuio daburocracia, contribuindo para a democratizao do processo decisrio, a efetivi-dade das aes governamentais e a promoo da incluso digital.

Para dar suporte a toda demanda computacional que gerada por esses princ-pios, que se prope a utilizao de arquiteturas computacionais baseadas emCluster e Grids no governo, como forma de criar um ambiente computacionalrobusto, de alto grau de confiana e de baixo custo.

5 Oficinas de Planejamento Estratgico. RELATRIO CONSOLIDADO. Comit Executivo do Go-verno Eletrnico. Maio de 2004. pg 8.

VERSAO 1.0 PGINA 10

GUIA DE CLUSTER 2.2.2 - PADRES DE INTEROPERABILIDADE DE GOVERNO ELETRNICO

2.2.2 Padres de Interoperabilidade de Governo Eletrnico

Com a inteno de estruturar mecanismos capazes de promover a eficincia daAdministrao Pblica no contexto da Sociedade da Informao, articulada saes estabelecidas para implantao do Governo Eletrnico, o Governo brasi-leiro elaborou um conjunto de premissas, polticas e especificaes tcnicas re-gulamentadoras para utilizao da Tecnologia da Informao e da Comunicao,denominada Arquitetura e-PING Padres de Interoperabilidade6 de GovernoEletrnico".

A Arquitetura e-PING define um conjunto mnimo de premissas, polticas eespecificaes tcnicas, que regulamentam a utilizao da Tecnologia de Infor-mao e Comunicao (TIC) no Governo Federal, estabelecendo as condies deinterao com os demais poderes e esferas de governo e com a sociedade emgeral. As reas cobertas pela e-PING, esto segmentadas em: Interconexo; Se-gurana; Meios de Acesso; Organizao e Intercmbio de Informaes e reas deIntegrao para Governo Eletrnico.

Assim, pela e-PING,

A existncia de uma infra-estrutura de Tecnologia da Informao e Comu-

nicao (TIC) que se preste como o alicerce para a criao dos servios de go-

verno eletrnico o pr-requisito para o fornecimento de melhores servios

sociedade, a custos mais baixos. Um governo moderno e integrado exige

sistemas igualmente modernos e integrados, interoperveis, trabalhando de

forma ntegra, segura e coerente em todo o setor pblico.

Polticas e especificaes claramente definidas para interoperabilidade e ge-

renciamento de informaes so fundamentais para propiciar a conexo do

governo, tanto no mbito interno como no contato com a sociedade e, em

maior nvel de abrangncia, com o resto do mundo. A e-PING concebida

como uma estrutura bsica para a estratgia de governo eletrnico, e permite

racionalizar investimentos em TIC, por meio do compartilhamento, reutili-

zao e intercmbio de recursos tecnolgicos."

A e-PING apresenta, em cada um dos seus segmentos, polticas tcnicas norte-

6 Os conceitos de interoperabilidade adotados nesta arquitetura esto evidenciados no Docu-mento de Referncia, disponvel em http://www.eping.e.gov.br.

VERSAO 1.0 PGINA 11

http://www.eping.e.gov.br


adoras para estabelecimento das especificaes de seus componentes, que sofundamentadas em algumas polticas gerais. Para este trabalho, as principaispolticas gerais levantadas pela e-Ping, que atingem e/ou norteiam o desenvol-vimento de sistemas de Cluster e Grid so (e-PING verso 1.9 [2] - pg: 9) :

Alinhamento com a INTERNET: todos os sistemas de informao da admi-nistrao pblica devero estar alinhados com as principais especificaesusadas na Internet e com a World Wide Web;

Adoo do XML como padro primrio de intercmbio de dados;

Desenvolvimento e adoo de um Padro de Metadados do Governo Ele-trnico - e-PMG, baseado em padres internacionalmente aceitos;

Escalabilidade: as especificaes selecionadas devero ter a capacidade deatender alteraes de demanda no sistema, tais como, mudanas em volu-mes de dados, quantidade de transaes ou quantidade de usurios. Ospadres estabelecidos no podero ser fator restritivo, devendo ser capazesde fundamentar o desenvolvimento de servios que atendam desde neces-sidades mais localizadas, envolvendo pequenos volumes de transaes e deusurios, at demandas de abrangncia nacional, com tratamento de grandequantidade de informaes e envolvimento de um elevado contingente deusurios;

Adoo Preferencial de Padres Abertos: a e-PING define que, sempre quepossvel, sero adotados padres abertos nas especificaes tcnicas. Pa-dres proprietrios so aceitos, de forma transitria, mantendo-se as pers-pectivas de substituio assim que houver condies de migrao. Sem pre-juzo dessas metas, sero respeitadas as situaes em que haja necessidadede considerao de requisitos de segurana e integridade de informaes.Quando disponveis, solues em Software Livre so consideradas prefe-renciais.

Em sua segunda parte, Especificao Tcnica dos Componentes da e-PING", v-rios pontos so levantados de interesse para novos projetos de sistemas de infor-mtica e informao. Principalmente no que se pode caracterizar como compu-tao distribuda, com a utilizao de Web Services e de Arquitetura Orientada Servios (SOA).

VERSAO 1.0 PGINA 12


Com a utilizao de Web Services para a interligao, integrao e interoperabili-dade de sistemas. Da sesso 6.1. Interconexo: Polticas Tcnicas":

6.1.7. Sempre que possvel, deve ser utilizada tecnologia baseadana web em aplicaes que utilizaram Emulao de Terminal anterior-

mente."

6.1.8. A tecnologia de Web Services recomendada como padro deinteroperabilidade da e- PING."

6.1.9. Os Web Services devero ser registrados e estar localizados emestruturas de diretrio compatveis com o padro UDDI. O protocolo

de acesso a essa estrutura dever ser o HTTP."

6.1.10. O protocolo SOAP recomendado para comunicao entre osclientes e os Web Services e a especificao do servio dever utilizar a

linguagem WSDL."

Na e-PING, Web Service"est definido como:

Os Web Services so aplicaes de software, identificadas por uma URI (Uni-form Resource Identifier), cujas interfaces e ligaes so capazes de serem de-finidas, descritas e descobertas por artefatos baseados em XML. Alm disso,

possuem suporte para integrao direta com outras aplicaes de software,utilizando, como padro de interoperabilidade, mensagens escritas em XML

e encapsuladas em protocolos de aplicao padro da Internet.

A necessidade de integrao entre os diversos sistemas de informao de go-

verno, implementados em diferentes tecnologias, s vezes de forma simult-

nea e em tempo real, implica na adoo de um padro de interoperabilidade

que garanta escalabilidade e facilidade de uso.

A tecnologia de Web Services adequada para atender tais necessidades,

alm de ser independente em relao aos Sistemas Operacionais e s Lingua-

gens de Programao.

O uso de Web Services contempla tanto transferncias de documentos entre

Instituies, quanto solicitaes para execuo de servios remotos."

E em conjunto so recomendados as seguintes especificaes:

Protocolo de troca de informaes: SOAP v1.2, como definido pela W3C;

VERSAO 1.0 PGINA 13

GUIA DE CLUSTER 2.2.3 - AS DIRETRIZES DO GOVERNO ELETRNICO E O SOFTWARE LIVRE

Infra-estrutura de registro:Especificao UDDI v3.0.2 (Universal Description,Discovery and Integration) definida pela OASIS;

Linguagem de definio do servio: WSDL 1.1 (Web Service Description Lan-guage) como definido pelo W3C.

Um outro fator importante observado na sesso de Integrao para GovernoEletrnico, onde se define as diretrizes tcnicas para o segmento, dela (a sesso10.1 reas de Integrao para Governo Eletrnico: Polticas Tcnicas") se tem:.

A partir do entendimento de que a materializao do uso de XML Schemas

se d atravs de servios interoperveis:

Recomenda-se que a Arquitetura Orientada a Servios - SOA - e as pol-ticas tcnicas relacionadas ao Segmento Interconexo sejam observadas

no projeto e implementao de aplicaes baseadas nos XML Schemas

referidos;

O segmento passa a referenciar a iniciativa Arquitetura Referencial deInteroperao dos Sistemas Informatizados de Governo - AR", que um

modelo de Arquitetura Orientada a Servios, adaptado realidade dos

Sistemas Informatizados de Governo e que, oportunamente poder ser

acessada em http://guialivre.governoeletronico.gov.br/

ar/"

Assim, com essas polticas de padronizao, o governo cria mecanismos para queos projetos em computao distribuda entre os rgos do Governo possam a serestruturados e obtenham maiores vantagens das arquiteturas de Cluster e Grid.Essas padronizaes j so as bases para tecnologias existentes na rea, que hojeso maduras e utilizadas pela indstria.

2.2.3 As Diretrizes do Governo Eletrnico e o Software Livre

As diretrizes do Programa Brasileiro de Governo Eletrnico demonstram que aGesto do Conhecimento e o uso de Padres Abertos e Software Livre so ins-trumentos estratgicos de articulao e gesto de polticas pblicas porque possi-bilitam a produo compartilhada e colaborativa de conhecimento, assegurando

VERSAO 1.0 PGINA 14

http://guialivre.governoeletronico.gov.br/ar/http://guialivre.governoeletronico.gov.br/ar/


assim, a habilidade de criar, organizar e compartilhar solues e conhecimentosestratgicos para o Estado Brasileiro.

O Guia Livre - Referncia de Migrao para Software Livre do governo federal",documento norteador para a migrao e utilizao de Software Livre na APF,explicita os benefcios obtidos pelo Estado ao se optar por este tipo de tecnologia.Como por exemplo:

Nesse cenrio, a filosofia do Software Livre surge como oportunidade paradisseminao do conhecimento e nova modalidade de desenvolvimento tec-

nolgico, em funo do novo paradigma que se estabelece na relao de

quem produz o software (sejam empresas, sejam programadores autnomos)com a tecnologia propriamente dita."

e

Assim, a adoo do Software Livre por parte do Estado amparada prin-cipalmente pelos princpios de Impessoalidade, Eficincia e Razoabilidade7,

visando melhoria na qualidade dos servios prestados e promoo dos

desenvolvimentos tecnolgico e social.

Portanto, o Estado se beneficia diretamente com a adoo do Software Livre,tanto no aspecto de sua estruturao para atendimento s demandas sociais,

como no seu papel de promover desenvolvimento. Desse modo, possibili-

tamos a integrao das polticas de modernizao administrativa, incluso

social baseadas na Tecnologia da Informao e no desenvolvimento indus-

trial.

A questo do Software Livre est contextualizada em amplo cenrio inte-grado, composto por aes de desenvolvimento tecnolgico, insero ade-

quada do Pas na chamada Sociedade da Informao, promoo da cida-

dania, incluso digital e racionalizao de recursos. "

O Guia Livre"define como principais razes para o uso de Software Livre:

7O artigo 37 da Constituio da Repblica apresenta os Princpios Basilares da Administra-o Pblica: legalidade, impessoalidade, moralidade, publicidade e eficincia. O princpio darazoabilidade possui fundamentao implcita, sendo evidenciado em algumas Constituies Es-taduais.

VERSAO 1.0 PGINA 15


Necessidade de adoo de padres abertos para o Governo Eletrnico (e-Gov);

Nvel de segurana proporcionado pelo Software Livre;

Eliminao de mudanas compulsrias que os modelos proprietrios im-pem periodicamente a seus usurios, em face da descontinuidade de su-porte a verses ou solues;

Independncia tecnolgica;

Desenvolvimento de conhecimento local;

Possibilidade de auditabilidade dos sistemas;

Independncia de fornecedor nico.

So apresentados os motivos pelos quais no basta ter acesso ao cdigo aberto,mas preciso desenvolver comunidades capazes de contribuir para a evoluodos cdigos e algoritmos disponibilizados, criando inovaes, gerando melhoriase aperfeioando os mesmos. As motivaes no podem ser apenas econmicas,mas tambm devem ser orientadas pelas possibilidades de criao e de avanosnas reas de produo, do conhecimento e de novas tecnologias, assim estimu-lando o desenvolvimento de todo um conjunto de reas relacionadas ao software,ao conhecimento e gesto do Estado Brasileiro.

O software livre, por princpio, depende do emprego de padres abertos. Tal usovem a facilitar tambm aes relacionadas com integrao de sistemas, otimiza-o de processos, reutilizao de cdigos e adoo de arquiteturas computacio-nais abertas.

O compartilhamento da informao e a adoo do software livre por muitos r-gos pblicos e privados contribui para que o produto se mantenha atualizadoe ganhe um corpo muito superior ao que cada instituio isoladamente poderiafazer e, sobretudo, se sustente no apenas por ser uma licena de software livreadequada, mas tambm pela criao de uma comunidade que venha a zelar parao seu desenvolvimento, compartilhando saberes e solues. A comunidade con-tribui para manter o software vivo, corrigindo seus defeitos, aperfeioando seufuncionamento, introduzindo inovaes e fazendo com que o produto se conso-lide mais robusto e a cada dia se torne mais conhecido por um conjunto maior deprofissionais do setor e por diferentes segmentos da sociedade.

VERSAO 1.0 PGINA 16

GUIA DE CLUSTER 2.2.4 - A ARQUITETURA DE CLUSTER E GRID E AS DIRETRIZES DO GOVERNO ELETRNICO

A razo pela escolha preferencial do software livre no governo federal motivadopelos resultados obtidos com o seu compartilhamento junto sociedade. O soft-ware livre tambm possibilita ao cidado o direito de acesso aos servios pblicose ao conhecimento sem obrig-lo a usar uma plataforma especfica.

A utilizao de software livre em solues de Cluster e Grid" uma tendnciaclara que vem se estabelecendo nos ltimos anos:

De acordo com o top500.org8, 72% dos computadores mais rpidos do mundoso clusters, e o Linux j est presente em 73% destes.

Os principais desafios de utilizao de software livre no desenvolvimento de solu-es em Cluster e Grid" para a construo de sistemas crticos governamentaisconsistem na possibilidade de se aproveitar a grande quantidade de solues esoftwares disponveis para os ambientes de Cluster e Grid", bem como na pers-pectiva de compartilhamento dos sistemas desenvolvidos com outros rgos einstituies pblicas, dentro da perspectiva conceitual do software pblico (vide[270]).

2.2.4 A Arquitetura de Cluster e Grid e as Diretrizes do Governo

Eletrnico

As principais razes pela escolha preferencial por arquiteturas de cluster e grid nogoverno federal esto embasadas nas diretrizes de governo eletrnico de utiliza-o de software livre e racionalizao de recursos e encontram-se descritas abaixo:

independncia tecnolgica;

independncia de fornecedor;

integrao de processos de inovao tecnolgica nas estruturas de infor-mtica pblica, como instrumento de melhoria da qualidade de servios,competividade e eficincia;

estmulo ao desenvolvimento de tecnologias nacionais e a Poltica Nacionalde Informtica;

8http://www.top500.org/stats

VERSAO 1.0 PGINA 17

GUIA DE CLUSTER 2.3 - AS NOVAS DEMANDAS COMPUTACIONAIS

adoo de padres abertos de hardware9 e software;

interoperabilidade como um fator preponderante no desenvolvimento desistemas e arquiteturas computacionais no governo;

aproveitamento dos potenciais disponibilizados pela ampla estrutura de re-des computacionais do governo federal.

O presente documento apresenta as possibilidades, tecnologias e cenrios de uti-lizao de cluster e grid no Governo Federal, tendo como objetivo ampliar seuuso interno no governo de maneira a melhor atender as novas demandas compu-tacionais da Sociedade da Informao que, segundo a diretriz de modernizaoda mquina pblica, encontram-se cada vez mais internalizadas no governo bra-sileiro.

2.3 As Novas Demandas Computacionais

As atividades econmicas que utilizam redes eletrnicas como plataforma tec-nolgica tm sido denominadas negcios eletrnicos (e-business). Essa expres-so engloba os diversos tipos de transaes comerciais, administrativas e cont-beis, que envolvem governo, empresas e consumidores. O comrcio eletrnico(e-commerce) a principal atividade dessa nova categoria de negcios.

Os atores institucionais envolvidos nos servios governamentais so o prprioGoverno (G), Instituies Externas (B, de business), e o Cidado (C), que intera-gem entre si de vrias maneiras. H cinco tipos de relaes entre esses atores emaplicaes governamentais:

B2B (business-to-business):transaes entre empresas, exemplos: EDI, portais verticais de negcios;

B2C/C2B (business-to-consumer/consumer-to-business):transaes entre empresas e consumidores, exemplos: lojas e shoppings vir-tuais;

9Tambm conhecido como hardware commodity, trata-se de hardware padro de mercadofornecido por diversas empresas que concorrem entre si para oferecer as melhores condies desuporte, qualidade e preo para o governo

VERSAO 1.0 PGINA 18


B2G/G2B (business-to-government/government-to-business):transaes envolvendo empresas e governo, exemplos: EDI, portais, com-pras. Corresponde a aes do Governo que envolvem interao com entida-des externas. O exemplo mais concreto deste tipo a conduo de compras,contrataes, licitaes, etc, via meios eletrnicos;

C2C (consumer-to-consumer):transaes entre consumidores finais (exemplos: sites de leiles, classifica-dos on-line);

G2C/C2G (government-to-consumer/consumer-to-government):transaes envolvendo governo e o cidado (consumidores finais dos servi-os do Governo), exemplos: pagamento de impostos, servios de comuni-cao). Corresponde a aes do Governo de prestao (ou recebimento) deinformaes e servios ao cidado via meios eletrnicos. O exemplo maiscomum deste tipo a veiculao de informaes em um website de um rgodo governo, aberto a todos os interessados;

G2G (government-to-government):transaes entre instituies do governo em qualquer nvel ou esfera doPoder. Corresponde a funes que integram aes do Governo horizon-talmente, exemplo: no nvel Federal, ou dentro do Executivo; ou vertical-mente, exemplo: entre o Governo Federal e um Governo Estadual.

A informatizao de operaes internas e de servios prestados pelo Governoremete necessidade de se planejar, implementar e operar grandes aplicaesde tecnologias de informao e comunicao, envolvendo o desenvolvimento depacotes de software de grande complexidade, para execuo em plataformas usu-almente bastante heterogneas de computadores e redes.

Tais aplicaes, especialmente as de escala nacional, que costumam tratar deimensas quantidades de dados, que perpassaro inmeras geraes tecnolgicas,so to carregadas de variveis e condicionantes que, tipicamente, so descritose caracterizados como sistemas complexos":

tm dimenses gigantescas, tais como milhes de usurios, centenas de fun-es, etc.;

VERSAO 1.0 PGINA 19


tm especificao dinmica, isto , se modifica ao longo do tempo, paraacomodar novas necessidades, reviso de prioridades, etc.;

nunca terminam de ser implementados, como conseqncia natural dasduas caractersticas anteriores.

Assim os softwares desenvolvidos pela administrao pblica tm de optar pe-las tecnologias adequadas e compatveis, seguindo as diretrizes de Governo Ele-trnico e os padres de interoperabilidade j definidos pela e-PING. A adoode padres tcnicos e sua institucionalizao so fundamentais para assegurarque aplicaes governamentais, mesmo resultando de uma mirade de iniciati-vas descentralizadas e descoordenadas de desenvolvimento, possam interoperare se integrarem.

A idia de desenvolvimento em espiral de sistemas bastante antiga e est nabase da estrutura de se ter uma seqncia de verses para um servio. Muitasvezes, as verses so impostas pela evoluo tecnolgica. Mas especialmenteno caso de software, o desenvolvimento em espiral utilizado como estratgiadefensiva para o projeto de sistemas complexos.

Aplicaes governamentais, mais do que quaisquer outras, demandam umaabordagem em espiral. Contudo, com demasiada freqncia, elas so concebi-das na forma de processos lineares com viso demasiadamente simplista, comcronogramas irrealistas e sem um plano de evoluo de longo prazo.

Os desafios da Sociedade da Informao" apresentados no Livro Verde, a in-sero do Brasil neste processo Global, a disseminao do acesso a Internet e aspesquisas do meio acadmico, convergiram em novas possibilidades de aplica-o da tecnologia da informao na disponibilizao de servios e informaesaos cidados.

Existe uma percepo no governo e uma presso da sociedade em torno da me-lhoria da qualidade dos servios prestados aos cidados, bem como para o au-mento substancial da transparncia dos processos governamentais e o combate fraude e corrupo. Para atender estas demandas se faz necessrio atingir umnvel maior de integrao entre os sistemas governamentais e criar novos siste-mas de inteligncia capazes de transformar o imenso volume de dados atual eminformao til e agregada, atravs da utilizao de sistemas de Business Inteli-

VERSAO 1.0 PGINA 20


gence (BI) e de Enterprise Resource Planning (ERP) [272].

Alm da iminente necessidade de integrao e atribuio de valor agregado aosdados transformando-os em informao, importante salientar que a quantidadede servios e portais agregadores destas informaes e de interao com os cida-dos tambm dever crescer conjuntamente com a democratizao do acesso Internet, e sua conseqente utilizao como meio de comunicao entre governoe cidados, no contexto de desenvolvimento do Governo Eletrnico.

A ampliao e a melhoria da qualidade dos processos internos e dos serviosprestados pelo governo refletem-se na necessidade de aumento da capacidadecomputacional do setor pblico e, por se tratarem de servios crticos, possuemcomo caractersticas principais de demandas computacionais:

alta disponibilidade;

suporte a milhes de usurios simultneos;

alta capacidade de processamento;

capacidade de trabalhar com bancos de dados da ordem de milhes de re-gistros;

tolerncia a falhas de hardware e software;

facilidade de integrao e interoperabilidade;

adoo de padres abertos de hardware e software;

armazenamento massivo da ordem de TeraBytes de dados;

A necessidade de ampliao da malha computacional, atendendo as caracters-ticas expostas acima, deve superar um conjunto de restries ou problemas queesto relacionados com a utilizao de computao de grande porte para o efetivoatendimento das novas demandas, sendo eles:

Limitao financeira dos investimentos pblicos e a crescente necessidadede racionalizao do uso de recursos pblicos em TI, que muitas vezes im-possibilitam o desenvolvimento ou implementao de um novo sistema di-ante do custo total de propriedade envolvido na aquisio de hardware esoftware para computao de grande porte.

VERSAO 1.0 PGINA 21


Dificuldade de aumentar ou diminuir a capacidade computacional deacordo com a demanda atual de cada instituio. Normalmente, servido-res de computao de grande porte possuem uma capacidade mxima deexpanso limitada por srie ou modelo do equipamento. Quando uma ins-tituio atinge a capacidade mxima do modelo que utilizado, torna-senecessrio realizar a troca do equipamento em operao por um modelo decapacidade maior. Geralmente, os custos para a troca de modelo de equipa-mento por um de maior capacidade so elevados.

Dependncia tecnolgica e de fornecedor devido utilizao de hardwarealtamente especializado no modelo da computao de grande porte", osquais somente a empresa que comercializa o equipamento ou o software capaz de prestar suporte, realizar manuteno ou a venda de novos compo-nentes. Isso leva ao controle do preo do mercado e enfraquece as relaesde negociao entre governo e empresas para a obteno da melhor soluopelo menor custo possvel, influenciada pela reduo da competio entreempresas no mercado.

Sistemas e hardwares heterogneos: existe no governo um parque computa-cional extremamente heterogneo. Encontram-se em uso hardwares e softwa-res dos mais variados fornecedores, muitas vezes incompatveis entre si,devido ao emprego de padres fechados ou arquiteturas proprietrias.

Dificuldade de integrao e interoperabilidade entre os sistemas devido abundncia de padres proprietrios, segmentados e divergentes, conjuga-dos com a falta de padres abertos. A Administrao Pblica obrigada aconstruir ou adquirir brokers10, que funcionam como pontes entre tecnolo-gias incompatveis, envolvendo muitas vezes o pagamento de licenas paradesenvolvimento das arquiteturas proprietrias utilizadas. Estes fatores di-ficultam e muitas vezes retardam o processo de integrao nas arquiteturascomputacionais baseadas em mainframe e computadores de grande porte.

Neste cenrio o Governo Brasileiro tem desenvolvido diversos projetos objeti-vando maior transparncia nas aes governamentais, otimizao do uso de re-cursos pblicos, construo de processos democrticos entre governo, empresase cidados. Alguns exemplos so:

10Midlerware de integrao e comunicao.

VERSAO 1.0 PGINA 22


Sistema eleitoral com votao e apurao atravs da utilizao de urnas ele-trnicas;

Portal de Compras Governamentais11 e o Sistema Integrado de Adminis-trao de Servios Gerais - SIASG, que so um conjunto de ferramentaspara operacionalizar internamente o funcionamento sistmico das ativida-des inerentes ao Sistema de Servios Gerais12, responsveis pelas comprasgovernamentais13.

Arrecadao Fazendria: esta uma das reas mais avanadas em serviosde governo eletrnico no Brasil. A maioria dos servios e sistemas de arre-cadao fazendria esto disponveis na Internet. A declarao de impostode renda de pessoa fsica disponibilizada por meio eletrnico atravs da In-ternet e por disquete foi responsvel por 98,2% [256] do total de declaraesno ano de 2005.

Projeto I3 Gov14:O Projeto I3-Gov uma implementao da arquitetura referencial de inte-roperao de sistemas - e-PING, atravs dele possvel acessar os SistemasEstruturadores de Governo, obtendo informaes de forma automtica einteropervel. So disponibilizadas as seguintes informaes e servios: i)Em Informao, possvel ver, por exemplo, o resultado dos gastos pbli-cos com Sade, Educao e outros, sob a tica dos Programas e Aes deGoverno15, ii) Em Inteligncia, esto registrados, de maneira padronizada,os macroprocessos de gesto administrativa de Governo. Um exemplo o

11http://www.comprasnet.gov.br12O Sistema Integrado de Administrao de Servios Gerais - SIASG, um conjunto informa-

tizado de ferramentas para operacionalizar internamente o funcionamento sistmico das ativida-des inerentes ao Sistema de Servios Gerais - SISG, quais sejam: gesto de materiais, edificaespblicas, veculos oficiais, comunicaes administrativas, licitaes e contratos, do qual o Minis-trio do Planejamento, Oramento e Gesto - MP o rgo central normativo.

13O Governo Federal economizou R$ 637,8 milhes com a utilizao do prego eletrnico dejaneiro a julho de 2006. Esta modalidade foi responsvel por 47,3% do total de bens e serviosadquiridos pelo governo durante este perodo. Um estudo recente realizado pelo Banco Mundialna rea de compras pblicas eletrnicas demonstra a eficincia do sistema de aquisies eletrni-cas do Governo Federal Brasileiro. Segundo a avaliao do Banco Mundial, o Comprasnet obtevepontuao mxima nos indicadores que avaliaram a transparncia na divulgao das licitaes ede seus respectivos resultados e na utilizao de mtodos competitivos conforme recomendadopela lei.

14Integrao e Inteligncia em Informaes de Governo15O PPA, plano Plurianual estabelece, de forma regionalizada, as diretrizes, os objetivos e as

metas da Administrao Pblica Federal, e o principal instrumento de planejamento, por conse-guinte, de mudana econmica e social com vistas ao desenvolvimento do Pas. O PPA organizaa atuao governamental em programas e aes, inserindo na administrao pblica a orientaodo gasto pblico para resultados na sociedade.

VERSAO 1.0 PGINA 23


fluxo de aquisio de bens e de servios, iii) Em Integrao, ao implementara Arquitetura Referencial de Interoperao, so organizados os servios dosSistemas Estruturadores de Governo. O acesso s informaes utiliza meto-dologia e arquitetura padronizadas que garantem a interoperao transpa-rente e automtica16.

Neste projeto esto envolvidas tecnologias de webservices, data warehouse,OLAP, ETL e integrao de dados/sistemas.

Projeto de Qualidade de Informaes Sociais: O software de gesto de qua-lidade de dados permite limpar, padronizar e cruzar os cadastros que utili-zam dados como nome, data de nascimento, nome de pai e me e nmerode documento de identificao.Tambm possibilita identificar erros de di-gitao e fazer comparaes por similaridade. Reconhece, por exemplo, aexistncia de dois cadastros para uma nica pessoa que possui um regis-tro com o nome completo e outro com apenas o ltimo sobrenome. Ou nocaso de uma mulher que se registrou no sistema com o nome de solteira e,depois, com o nome de casada. As rotinas atuais no consideram essas di-ferenas e permitem que uma pessoa receba duas vezes o mesmo benefcio.

Projeto Interlegis: O Interlegis um programa desenvolvido pelo SenadoFederal, em parceria com o Banco Interamericano de Desenvolvimento(BID), de modernizao e integrao do Poder Legislativo nos seus nveisfederal, estadual e municipal e de promoo da maior transparncia e in-terao desse Poder com a sociedade. Os meios utilizados so as novastecnologias de informao (Internet, videoconferncia e transmisso de da-dos) que permitem a comunicao e a troca de experincias entre as CasasLegislativas e os legisladores e entre o Poder Legislativo e o pblico, vi-sando aumentar a participao da populao. Em funo das finalidadesdo Programa o cadastro no Portal Interlegis aberto a qualquer pessoa,dando a oportunidade a essas pessoas adicionarem contedo ao stio (pgi-nas, imagens, links,notcias, ...), que sero avaliados pelos administradoresde contedo do Portal, para depois serem divulgados. O link Ajuda doPortal"foi feito para facilitar a compreenso de como uma pessoa pode secadastrar, acessar e manusear os contedos que o Portal disponibiliza paraela.

16Ligao mquina a mquina sem interferncia de um operador (pessoa), com periodicidadesprogramadas e, se for o caso, com latncia zero. Rotinas administrativas de cadastro e habilitaoem servios disponibilizados mquina a mquina sem interferncia de um operador (pessoa),com periodicidades programadas e, se for o caso, com latncia zero.

VERSAO 1.0 PGINA 24

GUIA DE CLUSTER 2.3.1 - COMPUTAO SOB DEMANDA

Estes projetos desenvolvidos pelo governo possuem uma ou mais das seguintescaractersticas:

Necessidade de Alta Capacidade de Processamento;

Suporte a Milhares de Usurios Simultneos;

Alta Capacidade de Armazenamento;

Alta Disponibilidade;

Segurana;

Utilizao de padres abertos;

Necessidade de integrao de sistemas e bases de dados.

Os grandes"sistemas utilizados pelo governo em sua maioria, como alguns dosdescritos anteriormente, so desenvolvidos para a utilizao em sistemas base-ados em Computao de Grande Porte". A seo 2.4 apresenta uma descriosobre o paradigma computacional atualmente utilizado e a defesa de utilizaodo paradigma computacional de cluster e grid para atingir os mesmos resultadoscom maiores vantagens para a Administrao Pblica.

2.3.1 Computao sob Demanda

Vrios siste

Documents

Guia de Cluster