Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 1
© 2004 Volnys Bernal & J. Maximo 1
Protocolos de Armazenamento
Jefferson MaximoVolnys Borges Bernal
© 2004 Volnys Bernal & J. Maximo 2
Agenda
DAS x NAS x SANDAS
SCSINAS
NFSCIFS
SANFibre ChanneliFCP (IP Fibre Channel Protocol)FCIP (Fibre Channel over IP)iSCSI (Internet Small Computer Systems Interface)
© 2004 Volnys Bernal & J. Maximo 3
DAS x NAS x SAN
© 2004 Volnys Bernal & J. Maximo 4
DAS x NAS x SAN
DASDirect Attached StorageDispositivos conectados diretamente
NASNetwork Attached StorageCompartilhamento de arquivos sobre uma rede de comunicação
SANStorage Area NetworkCompatilhamento de blocos de disco sobre uma rede de comunicação
© 2004 Volnys Bernal & J. Maximo 5
DAS x NAS x SAN
DAS DAS DAS
© 2004 Volnys Bernal & J. Maximo 6
DAS x NAS x SAN
NAS NAS NAS
DAS
arquivos e diretórios
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 2
© 2004 Volnys Bernal & J. Maximo 7
DAS x NAS x SAN
SAN SAN SAN
DAS
blocos de disco
© 2004 Volnys Bernal & J. Maximo 8
DAS
© 2004 Volnys Bernal & J. Maximo 9
DAS
Direct Attached Storage
Topologia de conexão de dispositivos de armazenamento na qual os dispositivos estão conectados diretamente a um único equipamento
TecnologiasATASCSIFibre ChannelSerial ATA
© 2004 Volnys Bernal & J. Maximo 10
DAS
ATA SCSI Serial ATA
© 2004 Volnys Bernal & J. Maximo 11
SCSI
© 2004 Volnys Bernal & J. Maximo 12
SCSIAlan Shugart:
Lider desenvolvimento floppy disk (Shugart Associates)Fundou a Seagate Tecnology
1979 SASI (Shugart Associates Systems Interface)1.5 Mbytes/s
1981 Formado um comitê para padronizar a interface
Shugart AssociatesNCR Corporation
1982 Proposta de padrão ANSIBaseada em extensões ao padrão SASI Comite técnico “ANSI Task Group X3T9.3”
1986Padrão SCSI (Small Computer Systems Interface )
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 3
© 2004 Volnys Bernal & J. Maximo 13
SCSI
Atualmente as organizações que desenvolvem SCSIANSI
American National Standards InstituteITIC
Information Technology Industry CouncilNCITS
National Committee for Information TechnologyT10
T10 Technical Committee
© 2004 Volnys Bernal & J. Maximo 14
SCSI
Padrões SCSISCSI-1 (1986 – primeiro padrão aprovado por ANSI)
Incluído nível de sinal SE e DIFFTransferência de dados síncrono e assíncrono
SCSI-2 (1990 release -1994 aprovada pelo ANSI)Suporte WORN disk drive, CD-ROM, scanners e junkboxesTaxa de transferência de dados 10MB/s
SCSI-3 (1996 SCSI ‘-3’)Documentação organizada em grupos para padronização
© 2004 Volnys Bernal & J. Maximo 15
SCSI
Fast-40SPI-2ultra 2LVD
Fast-80SPI-3
ultra 160(ultra3)
LVD
Fast-160SPI-4
ultra 320LVD
Fast-320SPI-5
ultra 640LVD
SCSI-1
SCSI-2SE
SCSI-3 SPI
fast&wideSE
Fast-20ultraSE
SCSI-2 fast
differentialHVD
SCSI-3 SPI
fast&widedifferential
HVD
Fast-20ultra
differentialHVD
HVD
SE
LVD
Narrow (8-bit-data) bus Narrow (16-bit-data) and narrow (8-bit data) bus
Wide (16-bit data) bus
5 Mbytes/s1982
10 Mbytes/s1987
20 Mbytes/s1994
40 Mbytes/s1996
80 Mbytes/s1998
160 Mbytes/s1999
320 Mbytes/s2001
640 Mbytes/s2003 *
LVD = low voltage differential SCSISE = single threadedHVD ou differencial = high voltage differential
© 2004 Volnys Bernal & J. Maximo 16
SCSI
Interface SCSIBarramento compartilhadoSuporta várias tipos de periféricosBarramento de 8 bits
Suporta 8 dispositivos em um único cabo Barramento de 16 bits
Suporta 16 dispositivos em um único cabo Controle por arbitragem
Initiator: enviam comandos (hosts)Targets: recebem os comandos (discos)
© 2004 Volnys Bernal & J. Maximo 17
SCSI
Desvantagens
Limitação do número de dispositivos no barramento(varia de acordo com a tecnologia SCSI)
Possibilidade de conexão do barramento a somente 2 hosts
O cabo paralelo adotado pelo SCSI é sujeito a crosstalk, limitando seu comprimento
Cada dispositivo adicionado a um barramento SCSI encurta sua distância
© 2004 Volnys Bernal & J. Maximo 18
Padrão SCSI-3
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 4
© 2004 Volnys Bernal & J. Maximo 19
Padrão SCSI-3
Arquitetura
Device-type Specific Command Sets
Shared Command Set
SCSI Transport Protocols
InterconnectsSCSI
-3 A
rchi
tect
ure
Mod
el© 2004 Volnys Bernal & J. Maximo 20
Padrão SCSI-3
Conjunto de padrões Documento SCSI-3 Architecture Model (SAM)Organizado em categorias
Device-type Specific Command SetsDefine os comandos SCSI agrupando em conjuntos (set) de acordo com a classe de dispositivos
Shared Command SetDefine o conjunto que são suportados por todos os dispositivos SCSI
ProtocolsDefine os protocolos de comunicação SCSI que podem ser específicos para cada tipo de meio de interconexão
InterconnectsDefine os meios de interconexão disponíveis
© 2004 Volnys Bernal & J. Maximo 21
Padrão SCSI-3
© 2004 Volnys Bernal & J. Maximo 22
Padrão SCSI-3
Protocols
IEEE 1394 - Firewire
© 2004 Volnys Bernal & J. Maximo 23
Padrão SCSI-3
Commands
© 2004 Volnys Bernal & J. Maximo 24
Padrão SCSI-3
Interconnects
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 5
© 2004 Volnys Bernal & J. Maximo 25
Padrão SCSI-3
Serviço distribuído
Segue o modelo cliente-servidor
Estrutural
© 2004 Volnys Bernal & J. Maximo 26
Padrão SCSI-3
Serviço distribuído
© 2004 Volnys Bernal & J. Maximo 27
Padrão SCSI-3
Modelo Cliente-Servidor
© 2004 Volnys Bernal & J. Maximo 28
Padrão SCSI-3
Modelo estrutural
© 2004 Volnys Bernal & J. Maximo 29
Padrão SCSI-3
Sub sistema serviço de entrega
Sincronização do estado entreservidoresclientes
Ordenamento de requisições e respostas
© 2004 Volnys Bernal & J. Maximo 30
NAS
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 6
© 2004 Volnys Bernal & J. Maximo 31
NAS
NAS
Network Attached Storage
Protocolos de compartilhamento de arquivos sobre uma rede de comunicação
Principais protocolosNFSCIFS
© 2004 Volnys Bernal & J. Maximo 32
NAS
NAS NAS NAS
DAS
arquivos e diretórios
© 2004 Volnys Bernal & J. Maximo 33
NAS
Problemas
EscalabilidadeAumento da capacidade do sistema implica em:
• Incremento de área de armazenamento• Incremento de número de processadores do servidor• Incremento da banda de comunicação (número de
interfaces)Existem limites para número de processadores e banda de E/S de rede
© 2004 Volnys Bernal & J. Maximo 34
SAN
© 2004 Volnys Bernal & J. Maximo 35
SAN
Storage Area NetworkProtocolos de compatilhamento de blocos de disco sobre uma rede de comunicaçãoPrincipais protocolos
Não baseadas na pilha TCP/IPFibre ChannelInfiniband
Baseadas na pilha TCP/IPiSCSI (Internet Small Computer Systems Interface)iFCP (IP Fibre Channel Protocol)FCIP (Fibre Channel over IP)
© 2004 Volnys Bernal & J. Maximo 36
SAN
SAN SAN SAN
DAS
blocos de disco
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 7
© 2004 Volnys Bernal & J. Maximo 37
SAN
Modelo de uso do discoExclusivo
Utiliza diretamente um sistema de arquivos para DASExemplos:
• ufs, ext2, ext3, ntfs, ...Compartilhado
Necessita de um sistema de arquivos que permita acesso concorrente ao discoExemplos de sistemas de arquivos distribuídos
• GFS Sistina (www.sistina.com)• OpenGFS (www.opengfs.org)• PVFS (http://www.pvfs.org)• GPFS (IBM)• Panasas (www.panasas.com)
© 2004 Volnys Bernal & J. Maximo 38
Fibre Channel
© 2004 Volnys Bernal & J. Maximo 39
Fibre Channel
HistóricoArquitetura desenvolvida pela SUN MicrosystemsComo parte do Projeto StoreXProtocolo desenvolvido pela IBMIBM decidiu que FC era muito complexo para muitas aplicações
IBM desenvolveu a SSAVersão simplificada pela IBM
FC foi originalmente desenvolvida para diversas velocidades
Variando de 125 Mbps a 1062.5 MbpsInstalações iniciais do Fibre Channel eram loops privados
© 2004 Volnys Bernal & J. Maximo 40
Fibre Channel
Protocolo voltado para transmissão de dados de armazenamento de alto desempenho
Implementações atuais possuem taxas de 1 a 2 Gbps
Previstas implementações de 4 e 8 Gbps
Cabeamento físico:Cobre:
Conectores HSSDC, HSSDC2, ou DB9Fibra Single-mode ou multi-mode:
Conectores SC ou LC
© 2004 Volnys Bernal & J. Maximo 41
Fibre Channel
Pilha de protocolosFC 0
Camada físicaFC 1
Camada de codificaçãoFC 2
Camada de manipulação de quadrosFC 3
Camada de serviços Fibre ChannelFC 4
Camada de adaptação para protocolos de nível superior
FC0
FC1
FC2
FC3
FC4
© 2004 Volnys Bernal & J. Maximo 42
Fibre Channel
FC0
Camada físicaManipulada pela eletrônica da interface GBIC
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 8
© 2004 Volnys Bernal & J. Maximo 43
Fibre Channel
FC1Camada de codificação
Codificação 8b/10b (desenvolvida pela IBM)Detecta erros envolvendo a troca de 1 bit.10 bits (1024 valores)
Sendo que 268 são valores válidos256 data values12 control values
• Start of Frame (SOF), • End of Frame (EOF), • Idle, Receiver Ready (R_RDY),• etc.
© 2004 Volnys Bernal & J. Maximo 44
Fibre Channel
FC2Montagem dos quadros, Segmentação e remontagemControle de fluxo
FC3Camada de serviços Fibre ChannelFacilidades de broadcasting e multicastingGerenciamento de topologia
FC4Camada de adaptação para a camada superior
© 2004 Volnys Bernal & J. Maximo 45
SCSIInterconnect
Fibre Channel
Rede TCP/IP
FC1
FC2
Aplicação
Sistema de Arquivos
SCSITransport FCP
Disco
SCSI Commands
FC3
FC0
FC4
SCSIInterconnect
FC1
FC2
SCSITransport FCP
SCSI Commands
FC3
FC0
FC4
© 2004 Volnys Bernal & J. Maximo 46
Fibre Channel
Hierarquia de mensagens
QuadrosFC é um protocolo baseado em quadrosQuadros são de 512, 1024, ou 2048 bytesTamanho do quadro é negociado durante o “port login”Praticamente tudo usa frames de 2048 bytes
SequenceUma mensagem atômica é chamada de sequenceSequeces consistem de um ou mais quadros
ExchangeUma transação é chamado de ExchangeExchanges consistem de uma ou mais seqüências
© 2004 Volnys Bernal & J. Maximo 47
Fibre Channel
Hierarquia de mensagens
Exchange
Sequence 0 Sequence 0 Sequence N
Quadro 0 Quadro 1 Quadro N
byte 0 byte 0 byte N
codif. 8b/10b codif. 8b/10b codif. 8b/10b
© 2004 Volnys Bernal & J. Maximo 48
Fibre Channel
Tipos de Quadros
Quadros de controle de enlaceImplementar controle de fluxoReconhecimento (ACK)Não contém Payload
Quadros de DadosPara transporte de dadosContém Payload de 0 a 2112 bytes
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 9
© 2004 Volnys Bernal & J. Maximo 49
Fibre Channel
Classes de serviçoClasse 1
Orientada a conexãoEntrega garantida e ordenadaControle de fluxo fim-a-fim
Classe 2Não orientada a conexãoEntrega garantidaControle de fluxo fim-a-fim
Classe 3Não orientada a conexãoEntrega não garantidaControle de fluxo Buffer-a-buffer
Classe 4Não padronizada
© 2004 Volnys Bernal & J. Maximo 50
iFCP
© 2004 Volnys Bernal & J. Maximo 51
iFCP
iFCP
IP Fibre Channel Protocol
Protocolo que utiliza a pilha TCP/IP para interconexão de dispositivos baseados em Fibre Channel utilizando infraestrutura IP, em conjunção ou em substituição aos switchs e roteadores Fibre Channel.
© 2004 Volnys Bernal & J. Maximo 52
SCSIInterconnect
iFCP
Rede TCP/IP
IP
TCP
Aplicação
Sistema de Arquivos
SCSITransport FCP
Disco
SCSI Commands
iFCP
Intra rede
FC4
SCSIInterconnect
IP
TCP
SCSITransport FCP
SCSI Commands
iFCP
Intra rede
FC4
© 2004 Volnys Bernal & J. Maximo 53
FCIP
© 2004 Volnys Bernal & J. Maximo 54
FCIP
FCIP
Fibre Cannel over IP
Protocolo que utiliza a pilha TCP/IP para tunelamento de Fibre Channel sobre a pilha TCP/IP para interconexão de SANs baseados em Fibre Channel geograficamente distribuídos.
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 10
© 2004 Volnys Bernal & J. Maximo 55
FC0
FCIP
FCIP
Rede Fibre Channel Rede TCP/IP
GatewayFCP
SCSI com
FC1
FC2
FC3
FC4
Aplicação
FC0
FC1
FC2
Intra rede
IP
TCP
Sist. Arqs
© 2004 Volnys Bernal & J. Maximo 56
iSCSI
© 2004 Volnys Bernal & J. Maximo 57
iSCSI
iSCSI
Internet Small Computer Systems Interface
Protocolo baseado na pilha TCP/IP para interconexão de hosts e dispositivos utilizando infraestrutura IP e comandos SCSI encapsulados
Padrão em desenvolvimento pelo IETF
Baseado em cliente/servidor (Initiator/Target)
© 2004 Volnys Bernal & J. Maximo 58
SCSIInterconnect
Intra rede
iSCSI
Rede TCP/IP
IP
TCP
Aplicação
Sistema de Arquivos
SCSITransport iSCSI
SCSI Commands
SCSIInterconnect
Intra rede
IP
TCP
SCSITransport iSCSI
SCSI Commands
Disco
© 2004 Volnys Bernal & J. Maximo 59
iSCSI
© 2004 Volnys Bernal & J. Maximo 60
Introdução
O que é iSCSI?Exemplo pacote iSCSI
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 11
© 2004 Volnys Bernal & J. Maximo 61
iSCSI
OtimizaçãoNIC card
Interfaces de rede convencional GigabitEthernetSem otimização
TOE cardTCP/IP Offload EngineInterfaces que realizam o processamento da pilha TCP/IP sobre o controlador da própria interface
iSCSI HBA TOE + processamento iSCSI
iSCSI HBA com IPSECTOE + proc. iSCSI + proc. IPSEC
© 2004 Volnys Bernal & J. Maximo 62
iSCSI
© 2004 Volnys Bernal & J. Maximo 63
iSCSI
Otimização
Intra rede
IP
TCP
iSCSI
SCSI
Sist. Arquivos
outros
Aplicação
Intra rede
IP
TCP
iSCSI
SCSI
Sist. Arquivos
outros
Aplicação
Intra rede
IP
TCP
iSCSI
SCSI
Sist. Arquivos
Aplicação
NIC card TOE card iSCSI HBA card
© 2004 Volnys Bernal & J. Maximo 64
iSCSI
Network NodeIdentificado pelo seu nome iSCSI (até 255 caracteres). Identifica um dispositivo SCSI em um ambiente de rede
Network portalIdentificado pelo endereço iSCSI (IP + porta TCP)Se um dispositivo iSCSI é alterado de local físico e tem seu endereço mudado não é necessário alterar seu nome. Basta alterar o mapeamento nome iSCSI para endereço iSCSI.
© 2004 Volnys Bernal & J. Maximo 65
iSCSI
Modelo Cliente-Servidor
Network Portal(Endereço IP + Porta TCP)
iSCSI node(iniciador)
Entidade de Rede(Cliente iSCSI - Host)
Network Portal(Endereço IP + Porta TCP)
iSCSI node(target)
Entidade de Rede(Servidor iSCSI - Dispositivo)
Network Portal(Endereço IP + Porta TCP)
iSCSI node(Target)
Rede TCP/IP
© 2004 Volnys Bernal & J. Maximo 66
iSCSI
iSNS
Internet Storage Name ServiceServiço de rede Permite realizar o mapeamento de:
nome iSCSI endereço iSCSIProtocolo para descoberta, nomeação e gerenciamento de recursos utilizado em todas as soluções de armazenamento baseadas na pilha TCP/IP.
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 12
© 2004 Volnys Bernal & J. Maximo 67
iSCSI
Novos desafios
SegurançaDiscoveryNomeaçãoOrdenamento de comandosControle de congestionamentoQoS
© 2004 Volnys Bernal & J. Maximo 68
iSCSI
Níveis de segurançaNenhum
Equivalente ao Fibre ChannelPoucos riscos se o ambiente for controlado
Autenticação de Initiator e TargetPossibilita a autenticação dos parceirosAceita conexões de nodes confiáveisProtocolos: CHAP, SRP, Kerberos, SPKM
IPsec Digest e anti-replyPrevine inserção, modificação e remoção
IPsec EncriptionPrevine observação
© 2004 Volnys Bernal & J. Maximo 69
iSCSI
iSCSI LoginLogin é realizado na primeira conexão
Negociação:• Opções suportadas• Formas de segurança
AutenticaçãoSessões podem ser terminadas com:
LogoutErro de I/O (causada por queda da conexão)
• Nesta situação pode ser posteriormente restabelecida a sessão
© 2004 Volnys Bernal & J. Maximo 70
iSCSI
OrdenamentoDiferentemente do SCSI paralelo, iSCSI PDUs podem:
chegar fora de ordemnão chegar
NecessárioNumeração de comandos
• Para possibilitar o reordenamentoDetecção de conexões falhasDetecção de PDUs faltantes
© 2004 Volnys Bernal & J. Maximo 71
iSCSI
Boot
Configuração estáticaAdministrador define o conjunto de
• iSCSI node names• LUN
Configuração dinâmicaDHCP ( RFC 1531, Dynamic Host ConfigurationProtocol“)SLP (RFC 2608 - Service Location Protocol, v. 2)
© 2004 Volnys Bernal & J. Maximo 72
iSCSI
Desempenho
Driver iSCSI (software) + NIC cardSobrecarga do host: 30 %
iSCSI TOE HBAsSobrecarga do host = similar a HBA FCAtualmente com menor banda de transmissão que as HBAs FC
Banda1 Gigabit atualmentePróximo passo: 10 GigabitEthernet
Protocolos de armazenamento
(c) 2004 Volnys Bernal & J. Maximo 13
© 2004 Volnys Bernal & J. Maximo 73
Referências Bibliográficas
© 2004 Volnys Bernal & J. Maximo 74
Referências Bibliográficas
http://www.digit-life.com/articles2/iscsi/index.html
Ahmad Zamer, intel Corporation, Clearing the confusion: A primeron internet protocol storage
http://www.scsita.org/aboutscsi/ultra320/Ultra320_WhitePaper.pdf
http://arstechnica.com/paedia/s/scsi-3.html
http://www.snia.org/education/tutorials/ip_storage/