© 2005 – RNP Redes Ópticas para a Comunidade Nacional de Educação e Pesquisa II Workshop Ciência e Tecnologia em Comunicações Ópticas, Unicamp, Novembro

© 2005 – RNP

Redes Ópticas para a Comunidade Nacional de Educação e Pesquisa

II Workshop Ciência e Tecnologia em Comunicações Ópticas, Unicamp, Novembro 2005

Michael StantonDiretor de InovaçãoRede Nacional de Ensino e Pesquisa - [email protected]

Redes para Pesquisa e Educação 2

Sumário

• Novas tecnologias de transmissão e comutação ópticas permitem redução significativa nos custos de construir e operar redes para pesquisa e educação.

• Por meio de exemplos mostramos como estas oportunidades estão sendo exploradas no país

• Nossa agenda:

– Uma breve visão da RNP

– Projeto GIGA – uma rede óptica experimental

– IPÊ – a 5a fase da rede nacional

– Redecomep – Redes ópticas metropolitanas comunitárias

– Redes híbridas para a próxima geração


RNP – Rede Nacional de Ensino e Pesquisa• RNP é a rede nacional de pesquisa e educação

– Mantida pelo governo federal (desde 1989)– provê conectividade nacional (interestadual) e internacional

para mais de 400 universidades e centros de pesquisa através de uma infra-estrutura de comunicação avançada

• colaboração – conexão internacional a outras redes semelhantes (Internet2, GÉANT, APAN, RedCLARA)

• “commodity” – conexões à Internet comercial

– sustenta e promove o desenvolvimento de redes avançadas e suas aplicações

• a RNP é gerida para o governo federal por uma empresa privada sem fins lucrativos (organização social) - RNP-OS


Evolução das redes de P&E no Brasil

Fase Ano Tecnologia Capacidades de enlace

Comentários

0 1988 BITNET até 9.6 kbps primeira rede nacional

1 1992 Internet 9.6 e 64 kbps primeira rede nacional IP (RNP)

2 1995 até 2 Mbps também: rede IP comercial

3 1999 IP/ATM, IP/FR

CV até 45 Mbps, acesso até 155 Mbps

rede nacional RNP2;

ReMAVs em 14 cidades (usando ATM/fibra apagada)

4 2003 IP/SDH 34, 155, 622 Mbps RNP2 estendida (RNP2+)

também: rede experimental IP/WDM interestadual (Projeto GIGA)

5 2005 IP/WDM 2.5 e 10 Gbps rede nacional IPÊ;

redes metropolitanas em 27 capitals


Evolução das redes de P&E no Brasil

Capacidade dos enlaces

1

10

100

1.000

10.000

100.000

1.000.000

10.000.000

1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005

Ano

kbp

s

Fase 0BITNET

Fase 1Internet

Fase 2Internet

comercial

Fase 3RNP2

Fase 4RNP2+

Fase 5Ipê


Rede nacional – abril de 2005

• Implantada em 2004/5

• Um Ponto de Presença (PoP) por estado

• IP/SDH (substituiu IP/ATM da RNP2)

• 1a rede com múltiplos provedores– Fruto da

competição• 6x capacidade da

rede anterior a 2/3 do custo Fase 4 Abr/2005

(2 Gbps)


Acesso para instituições federais de P&E

• Além da rede nacional, interestadual, a RNP também provê conexões diretas ao PoP local para Universidades Federais, Unidades de Pesquisa do MCT na maioria dos casos.

• No estado de São Paulo, estas conexões incluem:– UNIFESP– UFSCar– INPE– LNLS– CenPRA


Projeto GIGA – uma rede óptica experimental

• Projeto em colaboração entre– RNP e – CPqD– Comunidade de P&D na indústria e nas universidades

• Objetivos– construir uma rede experimental avançada para

desenvolvimento e demonstrações– suporte para subprojetos de P&D em tecnologias de redes

óptica e de IP e aplicações e serviços avançados • Participação industrial (operadoras cedem as fibras; é exigida

transferência tecnológica de produtos e serviços)• Financiamento de R$53 milhões do FUNTTEL - desde Dez 2002

– 2/3 dos recursos para financiar P&D

FUNTTELFUNTTEL


Rede experimental GIGA - localização

UniversitiesIMEPUC-RioPUC-CampinasUERJUFFUFRJMackenzieUNICAMPUSP

R&D Centers CBPF CPqDCPTECINCORCTA FIOCRUZ IMPA INPE LNCC LNLS


Projeto inicial da rede GIGA

• rede interurbana DWDM 2,5G entre Campinas e Rio de Janeiro– até 4 lambdas (comprimentos de onda) por

enlace (pode chegar a 8)• redes metropolitanas CWDM 2,5G (MANs) no Rio,

em S. Paulo e em Campinas– todos equipamentos ópticos fornecidos pela

empresa Padtec (www.padtec.com.br)– Equipamentos de L2/3 da Extreme Networks

• rede operacional entre Rio, S. Paulo e Campinas (desde maio de 2004)

S.J. dos Campos

São Paulo

Campinas

Rio de Janeiro

Campinas

São Paulo S. José dosCampos

Rio de Janeiro

CachoeiraPaulista

MANCP

MANSP

MANRJ

Petrópolis

Niterói

Antecipado para 2006


Atividades de P&D

• 2/3 do orçamento do Projeto GIGA sustemta atividades de P&D nas seguintes áreas:– Redes ópticas (CPqD)– Protocolos e serviços de rede (RNP)– Serviços de telecomunicações experimentais (CPqD)– Serviços e aplicações científicas (RNP)

• A grande maioria das atividades de P&D estão sendo realizadas por grupos de pesquisa nas universidades (em mais de 50 instituições em 15 estados do Brasil)– Incentivos para a transferência de tecnologia ao setor produtivo– A rede também pode ser usada para o desenvolvimento e/ou

demonstração de aplicações de de rede de alto desempenho por pesquisadores em várias áreas (física de altas energias, bioinformática, geociências, ciências ambientais, etc), freqüentemente usando grades computacionais.


Redes ópticas para a comunidade de P&E

• Baseado na experiência prática da rede experimental do Projeto GIGA, a RNP está instalando em 2005-6 uma rede multi-Gbps para a comunidade nacional de P&E

• Tem dois grandes componentes:

– Rede IPÊ: uma rede nacional multi-Gbps• ipê: a flor nacional do Brasil• i-pê: IP (Internet Protocol) em português• IPE: Inovação, Pesquisa, Educação

– Redecomep: Redes Comunitárias para Educação e Pesquisa

• Para acesso local em Gbps aos PoPs da Rede IPÊ

ipê amarelo em flor


IPÊ: a Fase 5 da rede da RNP (2005)

• enlaces interestaduais de múltiplos Gbps inicialmente entre 10 cidades

• lambdas de 2,5 and 10G de duas operadoras

• apenas 3x custo das conexões da Fase 4 por 40x a capacidade agregada

• roteadores da Juniper Networks (M320, M40)

• Lançamento Nov 2005

IPÊ – Nov 2005(60 Gbps)

Fortaleza

Recife

Salvador

Rio de Janeiro

Belo Horizonte

Brasília

São PauloCuritiba

Florianópolis

Porto Alegre

2.5 Gbps10 Gbps


Redecomep – Redes Metropolitanas Ópticas para a comunidade de P&E• As redes de longa distância chegam num ponto específico de cada

cidade servida – Ponto de Presença (PoP)

• Para servir um conjunto de clientes na mesma cidade, é necessário prover acesso individual ao PoP – problema da Última Milha

• Encontramos um problema parecido quando for necessário prover conectividade entre os componentes de uma única organozação na mesma cidade

• As soluções tradicionais ao “problem of the Last Mile”:

– Alugar serviços de dados ponto a ponto da operadora para chegar ao PoP

– O custo disto é uma função da largura de banda contratada

– Freqüentemente resulta em “sub-aprovisionamento” devido a altos custos


Uma abordagem alternativa – construir sua própria rede comunitária

1. Formar um consórcio para aprovisionamento de rede em conjunto2. Construir uma rede óptica própria para alcançar TODOS os campi de TODOS

os membros do consórcio3. Iluminar a fibra!

Custos envolvidos:– Instalação do cabo óptico: usando o posteamento da cia. de energia

elétrica• R$ 20.000 por km• Aluguel mensal de R$ 3 (não mais de 40 postes por km)

– Equipmentos: usualmente comutadores GigE de 2 portas ópticas– Operação e manutenção

• Estudo de caso em 2004: MetroBel (Belém do Pará): 12 instituições usando conexões GigE:– Investimento de R$ 1.400.000– Custeio de R$ 200.000 p.a.– Compare com R$ 640.000 p.a. para a solução tradicional via operadora

(com conexões de menos de 1 Mbps comparadas com 1 Gbps!)


MetroBel: possível topologia (anel 30km + 10km extensão; 29 pontos)

PoP da RNP na UFPA


RNP activities in metro networks 2005/6

• Em dezembro de 2004, a RNP recebeu financiamento da Finep para construir redes metropolitanas ópticas em todas as 27 capitais do país (projetos MetroBel e Redecomep)

• Valor total de mais de R$ 41 milhões a ser executado até dezembro de 2006

• Licitação do cabeamento em Belém publicada em agosto• Licitação Redecomep de equipamentos publicada em

setembro• Planejamento em curso para instalar redes metro nas

seguintes cidades:Manaus, Belém, Fortaleza, Natal, Recife, Salvador, Vitória, Brasília, Curitiba, Florianópolis, Porto Alegre


Para concluir a implantação da rede da Fase 5

• A princípio, será resolvido até dezembro de 2006 o problema de acesso externo às redes avançadas para a maioria de instituições nas capitais

• 10 dos PoPs da RNP’ terão conexões interestaduais de pelo menos 2,5 Gbps em novembro de 2005

• Até dezembro de 2006 mais de 200 instituições com conexões de 1 Gbps à nova rede nacional Ipê (Fase 5)

• Os problemas de conectividade remanescentes:– Os outros 17 PoPs da RNP – espera-se poder incorporar a maioria destes

na rede de múltiplos Gbps dentro de 2 a 3 anos• Dificuldade maior em partes da Amazônia, devido à falta de infra-estrutura óptica

(AM, AP, RR)

– Cidades do interior• ENTRETANTO: a RNP já provê enlaces diretos aos PoPs para Universidades

Federais e UPs do MCT que não sejam, localizadas nas capitais.• Isto apresenta uma oportunidade para construir redes metro nestas codades

(talvez usando WiMax ao invés de tecnologia óptica)


Como será a rede da próxima geração?

Uma nova classe de usuário de alto desempenho

• Acesso a redes de longa distância de múltiplos Gbps possibilitou uma nova classe de usuários, que lidam com processamento distribuído de alto desempenho

• Características típicas incluem:

– transferência de grandes volumes de dados de sensores remotos

– visualização remota

– processamento paralelo usando tecnologias de grade

– transmissão de iamgens e de vídeo de muito alta definição

• Para estes usuários, um canal de dados fim a fim terá tipicamente pelo menos 1 Gbps de capacidade

• Exemplos: física de altas energias, astrofísica, geociências, telemedicina


Categorias de usuários (apud Cees de Laat)

ADSL GigE

A. Uso convencional: WWW, correio, uso domésticoRequer acesso pleno à Internet: 1 a muitos

B. Aplicações “comerciais”: multicast, streaming, VPN, LANRequer acesso pleno à Internet e serviços VPNs: vários a vários

C. Aplicações “científicas”: processamento distribuído, gradesRequer grande largura de banda, poucas Organizações Virtuais, poucos a poucos, P2P

No. de usuários

Largura de banda


Redes híbridas

roteador L3 X comutador L2 X comutador L1 (óptico)• Para a mesma vazão (10 Gbps) o custo comparativo por porto em US$ são:

– roteador L3: 75 a 300 K$

– comutador L2: 5 a 10 K$

– MEMS (óptico): 0,5 a 1,5 K$

– ou seja custo L1 0,1 custo L2 0,01 custo L3

• Para otimizar custos, deveríamos adotar uma arquitetura híbrida que sirva a todas categorias de usuário de maneira mais econômica:

– mapear categoria A para L3

– mapear categoria B para L2

– mapear categoria C para L1

• “Dê a cada pacote na rede o serviço que necessita, mas nada a mais do que isto!” (Kees Neggers/Cees de Laat)


Implicações

• Deve-se evitar roteamento L3 sempre que possível– se possível, roteadores L3 deveriam ser interconectados por uma

nuvem de conectividade L2 ou, ainda melhor, uma nuvem L1– para usuários da categoria 3, a solução ideal não usa roteamento

L3• Comutação L1 (óptica) é preferível à comutação L2, sempre que

possível

• Exemplos:– multiplexação de canais GigE em lambdas– demo da iGrid2002: Amsterdam Vancouver– Surfnet5 na Holanda– nuvens de interconectividade L2 nos EUA– nuvem de interconectividade L2 em São Paulo– comutação óptica – GLIF– redes híbridas – Internet2/HOPI e Surfnet6


2001: Início de redes de lambdas (por K. Neggers)

• Lambda de 2,5Gbit/s adquirido por SURFnet entre StarLight, Chicago, EUA e NetherLight, Amsterdã, Holanda

• Lambda terminado em multiplexadores ONS15454 da Cisco,

• lado WAN: enquadramento SONET: OC48c• lado LAN: interfaces GigE a clusters de computadores

StarLight NetherLight

Lambda 2,5G GigE

GigE

GigE


Surfnet5 na Holanda (poucos roteadores L3)

• Rede usava 4 roteadores de núcleo em 2 pontos distintos de Amsterdã (SARA e Hempoint)

• Cada universidade usava dois canais de 10 Gbp, um para SARA, o outro para Hempoint

• Qualquer tráfego interuniversitário passava por apenas dois roteadores


Demo na iGrid2002: sem uso de roteadores L3

• Cenário de caminho de luz fim a fim para aplicações de alto desempenho:

– não utiliza a rede de roteamento de pacotes

– caminho de luz fim a fim é solicitado através de middleware

• Justificativa:

– Reduzir o custo de transporte por pacote

Fonte: Cees de Laat/Tom DeFanti (Translight)

Application

Middleware

Transport

Application

Middleware

Transport

Router

Router

U. of Amsterdam

Router

Router

CA*net4

Router

NL

SL

SURFnet5

UBC Vancouver

L2 switch

GbE

GbE

GbE

L1 switchL1 switch

L1 switchL1 switch

L2 Switch

Router

High bandwidth application (e.g. Grid)


Pacific Wave: um ponto distribuído de interconexão L2 (por C. Anderson)

Um ponto distribuído de interconexão em Los Angeles, CA, e Seattle, WA

Comutadores L2 em 6 pontos constituem uma nuvem L2.

Qq par de roteadores L3 conectados a esta nuvem podem trocar tráfego


Troca de tráfego através dePacific Wave (por John SIlvester)


Conexões internationais L2 (por Don Riley)

É possível eliminaar roteamento transcontinental L3

A-Wave (Atlantic Wave) em implantação em 2005


Um ponto distribuído de interconexão L2 em São Paulo

• Diversas redes importantes de P&E precisam trocar tráfego em São Paulo– RNP, ANSP, RedCLARA, enlace WHREN/LILA paraMiami

• ANSP e RNP mantêm grandes redes de P&E no país, com conectividade internacional

• RNP provê para ANSP trânsito ao resto do Brasil • Um ponto de interconexão L2 permitirá a futura extensão ao

Brasil do ponto distribuído de interconexão L2 Atlantic Wave (A-Wave)

• Baseado fisicamente em 3 pontos de presença (PoPs):– USP (RNP), Barueri (ANSP), Cotia (RedCLARA,

WHREN/LILA)


RedCLARA e WHREN/LILARedCLARA: Rede regional Latino Americana (2004-)

WHREN/LILA: Conexões do México e Brasil aos EUA (2005-)


Localização dos PoPs

ANSP PoPBarueri

RedCLARA & WHREN/LILA PoPsCotia

RNP PoPUSP


Situação física

PoPRedCLARA

PoPANSP

PoPRNP

Cotia

Barueri

USP

2 pares de fibra apagada existentes

2 fibras apagadas existentes

2 pares de fibra apagada existentes


WDM com redundância (1+1)

• utiliza uma segunda fibra (ou par de fibras) numa rota diversa para prover redundância plena

• lambdas multiplexados são transmitidos em ambas fibras• árbitro no receptor seleciona uma fibra com transmissão ativa

fibra de trabalho

fibra de proteção

divisorárbitro

multiplexadordesmultiplexador


Uso proposto de WDM

PoPRedCLARA

PoPANSP

PoPRNP

Cotia

Barueri

USP

múltiplos lambdas

múltiplos lambdas

múltiplos lambdas


Nuvem de interconexão L1

• A nuvem de lambdas criada pela infra-estrutura WDM permite a interconexão arbitrária de pares de dispositivos de camada 1 ou 2 em diferentes PoPs ligados à nuvem

• Em geral, os lambdas usarão enquadramento n-Gbps Ethernet

– excepcionalmente poderá ser usado enquadramento SDH/Sonet

nuvem de lambdas

nuvem de lambdas

comutadorcamada 1

oucamada 2

Cotia

Barueri

USP

comutadorcamada 1

oucamada 2

comutadorcamada 1

oucamada 2


Ampath ou Atlantic Wave

roteador Clara

enlace LILA

ONS 15454

roteador da RNP POP-SP

roteador da rede de campus da USP

roteador ANSPcomutador ANSP

comutador RNP

comutadorANSP

roteador de agregação para insts. federais em SP

• fibra e comutadores nas pontas pertencem à mesma organização• somente Ethernet usado no anel

anel L1/L2

RNP

RedeClara

possível conexão local STM-1

caminho redundante de fibra (ANSP)

ANSP

Ponto Distribuído de Interconexão L2 em São PauloInterconectando POP-RNP (USP), POP-ANSP (Terremark) and PoPs GLBX+LanNautilus (Cotia)

caminho redundante de fibra (RNP)

comutador RNP

comutador ANSPCotia

Barueri

USP


Comutação Óptica (L1)

• comutação L2 hoje é feita em unidades de 1 Gbps e 10 Gbps, usando comutadores Ethernet

• canais ópticas (L1) normalmente são implementados como comprimentos de onda (lambdas) ou circuitos SDH tipicamente a 2,5 e 10 Gbps– 2 conexões GigE podem ser multiplexadas num canal óptico de 2.5G – 8 conexões GigE podem ser multiplexadas num canal óptico de 10G

• canais ópticas (L1) podem ser comutados por inteiro usando comutadores ópticos (Optical Cross Connects ou OXCs)

• um caminho de luz (no sentido estrito) é um canal L1, formado por uma concatenação de enlaces L1 entre comutadores ópticas

• nos últimos anos foi montada uma infra-estrutura L1 internacional para P&E através da colaboração de dezenas de países – a GLIF: Global Lambda Integrated Facility


Pontos de interconexão óptica GLIF em 2004 (por T. de Fanti)

European lambdas to US (red)–10Gb Amsterdam—Chicago–10Gb London—Chicago–10Gb Amsterdam—NYC

Canadian lambdas to US (white)–30Gb Chicago-Canada-NYC–30Gb Chicago-Canada-Seattle

US sublambdas to Europe (grey)–6Gb Chicago—Amsterdam

Japan JGN II lambda to US (cyan)–10Gb Chicago—Tokyo

European lambdas (yellow)–10Gb Amsterdam—CERN –2.5Gb Prague—Amsterdam–2.5Gb Stockholm—Amsterdam–10Gb London—Amsterdam

IEEAF lambdas (blue)–10Gb NYC—Amsterdam–10Gb Seattle—Tokyo

CAVEwave/PacificWave (purple)–10Gb Chicago—Seattle–10Gb Seattle—LA—San Diego–10Gb Seattle—LA

Northern Light

UKLight

CERN

Japan

PNWGP

Manhattan Landing


Juntando as partes – redes híbridas

• Redes híbridas networks require us to maintain parallel and interoperating structures for handling L3, L2 and, possibly, L1 traffic.

• Few networks so far operate at all these levels. Some networks are currently attempting to operate jointly services at L2 and L3. These include:– Abilene (Internet2): the HOPI project– Surfnet6 in the Netherlands

• It should be noted that the end sites of users of L2 (and L1) end-to-end services MUST also count on such facilities at the regional, metropolitan and campus levels


Internet2: a topologia HOPI (Hybrid Optical and Packet Infrastructure)O experimento HOPI complementa Abilene com múltiplos

lambdas na infra-estrutura NLR de fibra apagada


Nó HOPI da Internet2 (por R. Summerhill)

Comutadores adicionais têm funcionalidades L1 (OXC) and L2 (Ethernet)

Tráfego roteado L3 tradicional utiliza a rede Abilene existente

Interface à Rede Óptica Regional (RON) para capilaridade L1/L2


SURFnet6 sobre fibra apagada

SURFnet6 will be entirely based on SURFnet owned managed dark fiber via the customer premises

Over 5300 km fiber pairs available today; average price paid for 15 year IRUs:

< 6 €/meter per pair

Managed dark fiber infrastructure will be extended with new routes, to be ready for SURFnet6


Common Photonic Layer (CPL) in SURFnet6

Dordrecht1

Breda1

Tilburg1

DenHaag

NLR

BT

BT NLR

BT

Zutphen1

Lelystad1

Subnetwork 4:Purple

Subnetwork 3:Red

Subnetwork 1:Green

Subnetwork 2:Dark blue

Subnetwork 5:Grey

Emmeloord

Zwolle1

Venlo1

Enschede1

Groningen1

LeeuwardenHarlingen

Den Helder

Alkmaar1

Haarlem1

Leiden1

Assen1

Beilen1

Meppel1

Emmen1

Arnhem

Apeldoorn1

Bergen-op-ZoomZierikzee

Middelburg

Vlissingen Krabbendijke

Breukelen1

Ede

Heerlen2Geleen1

DLO

Schiphol-Rijk

Wageningen1 Nijmegen1

Hilversum1

Hoogeveen1

Lelystad2

Amsterdam1

Dwingeloo1

Amsterdam2

Den Bosch1

Utrecht1

Beilen1

Nieuwegein1Rotterdam1

Delft1

Heerlen1

Heerlen1

Maastricht1

Eindhoven1

Maasbracht1

Rotterdam4

3XLSOP

IBG1 & IBG2Middenmeer1

2 central interconnected nodes in Amsterdam

All universities on one of 4 fibre subnetworks connected to both central nodes.

All fibres lit up with DWDM


Subnetwork 1: Green

Band1Amsterdam2

Band2Amsterdam2

Band3Amsterdam2

Band4Amsterdam2

Band6Amsterdam2

Band9Amsterdam2Amsterdam1Band9

Amsterdam1Band6

Amsterdam1Band4

Amsterdam1Band3

Amsterdam1Band2

Amsterdam1Band1

Hilversum1

Leiden1

DenHaag1

Delft1

Utrecht1


SURFnet6: IP network implementation

AviciSSR

ExternalIP connectivity

SURFnet6Core Routers

SURFnet6 Border Routers

SURFnet6Common Photonic Layer

10 GigabitEthernet Customer

AviciSSR

AviciSSR

AviciSSR

Non-SURFnetSURFnet infrastructure

NortelPassport

8600

10 GE

10 GE

NortelOM 5000

10 GE

CPE

NortelOME6500

1 GigabitEthernet Customer

CPE

1 GE

1 GE

NortelOME6500

NortelOM 5000

NortelOM 5000Nortel

OME6500

NortelOME6500

NortelOME6500


SURFnet6: Light Path Provisioning implementation

GLIF

SURFnet6Common Photonic Layer

Customerequipment

Non-SURFnetSURFnet infrastructure

OpticalSwitch

10 GE

1 GE

10 GE

Customerequipment

End-to-End Light Path

10 GE LAN

Amsterdam

InternationalLight Paths

10 GE

NortelOME6500

NortelOME6500

NortelOME6500

NortelOME6500

16x16MEMS

16x16MEMS

NortelHDXc


Conclusion

• Through the IPÊ network core and the optical metro networks, RNP is effectively bringing about “Internet2 quality” networking to the Brazilian R&E community, permitting the widespread use of advanced applications.

• The next generation of R&E networks will seek to provide cost-effective networks for high-performance users, with end-to-end bandwidth of at least 1 Gbps– Note that we already support such users experimentally for

international demonstrations (e.g. HEP at Supercomputing)• More conventional users will continue to need L3 routed packet

networks for their applications

• Hybrid networks will become the next standard R&E network architecture

Michael Stanton ([email protected])

www.rnp.br

Obrigado!

Documents

© 2005 – RNP Redes Ópticas para a Comunidade Nacional de Educação e Pesquisa II Workshop Ciência e Tecnologia em Comunicações Ópticas, Unicamp, Novembro