VIIWorkshopdeTecnologias deRedes doPOP-BA26Set2016

Monitoramento deenlacesde100Gbpseconsistência deregras OpenFlow

HumbertoGalizaEngenheiro deRedes Sênior - NEGAmLight RNP

galiza@amlight.net

AMPATH– R&EIXP– RXP – baseado em Miami(NOTA)– Principalpontodeencontro entreRedes Acadêmicas LatinoAmericanas eNorte-Americanas

– Apoio aprojetos depesquisa financiados pelaNationalScienceFoundation(NSF)

2

Quem somos?

AMLIGHT– Projeto cujo objetivo é instalar,operar,monitorar eevoluirumconjunto deenlacesinternacionais interconectandoPontos deTroca deTráfego (em inglês,IXP)Acadêmico emSãoPaulo(BR)eSantiago(CL)comaAMPATHemMiami

IXPDistribuídoPARCERIAENTRE

– ANSP – Rede Acadêmica deSãoPaulo– AURA – Associação deUniversidades paraPesquisa emAstronomia– FIU- FloridaInternationalUniversity– NSF- NationalScienceFoundation– RedClara – Cooperación LatinoAmericanadeRedes Avanzadas– RNP- Rede Nacional deEnsino ePesquisa– REUNA- RedUniversitaria Nacional

3

Quem somos [2]?

NSFsupport forAmLight Express&Protectispartofascalablerationalarchitecture,designedtosupporttheneedsoftheU.S.-WesternHemisphere researchandeducationcommunity thatsupports theevolvingnatureofdiscovery andscholarships. NSFAward#ACI-1451018

4

Evolução daAmLight2015:AmLight-EXP:EXPRESSANDPROTECT

AmLight-ExP:evolução (1/3)

• De2013à Dezembro 2015:6x10G– 40Gbps entreAmericadoSul eMiami– 10Gbps entreSãoPauloeFortaleza/Brasil– 10Gbps entreBrasil eChile

• Janeiro2016:2x10Gadicionados– 60Gbps entreAmericadoSul eMiami– 10Gbps entreSãoPauloeFortaleza/Brasil– 10Gbps entreBrasil eChile

5

• Abril2016:1x100G“entregue”– MiamixSaoPauloviaAtlântico– Primeiro circuito de100Gnocabo SACS– Muito instável• Problemas comcross-conexões,switchesandequipamentos ópticos

• Junho 2016:adicionado mais umlambda100G– MiamixSaoPauloviaPacífico– Segundocircuito de100Gnocabo SACS

AmLight-ExP:evolução (2/3)

6

• FinaldeJunho 2016:Finalmente,estabilidade!– Módulos100GBrocadesubstituídosdevido aproblemas deinteroperabilidadecomaCIENA(sistema óptico submarino)

– Placas daCIENAsubstituídas esistema operacional atualizado– Cross-conexões noTerremark ecabos IFCslimpos (n-vezes)

• Julho 2016:– Upgradedesoftwarenos switchesdaAMPATH:novosmódulos enovoSO

– 100Glinksadicionados à rede deprodução daAmLight-ExP– 2x10GlinksentreSãoPauloeMiamidecomissionados– Capacidade TotalAtual:

• 230Gbps entreAmérica doSul eMiami• 10Gbps entreSãoPauloeFortaleza/Brasil• 10Gbps entreBrasil eChile

AmLight-ExP:evolução (3/3)

7

AmLight-ExP:Topologia Atual

8Aug2016

Validação do100G

9

CENÁRIODETESTESOpenFlow +IXIA100GTrafficGenerator

MLX-USA

MLX-BRA

GERADORDETRÁFEGO3/1

3/2

7/1

2 Flows:sentido EUAà BrasilFlowID:241Priority:32768Status:Active

Rule:InPort: e3/1

Action:FORWARDOutPort:e3/2

FlowID:242Priority:32768Status:ActiveRule:

InPort: e3/2Action:FORWARD

OutPort:e3/1TESTEREFLEXIVO”LOOPLÓGICO”

RECEPÇÃODOTRÁFEGO

Validação do100G[2]

10

CENÁRIODETESTESOpenFlow +IXIA100GTrafficGenerator

MLX-USA

MLX-BRA

GERADORDETRÁFEGO3/1

3/2

7/1

1Flow:sentido Brasilà EUAFlowID:100Priority:32768Status:Active

Rule:InPort: e7/1

Action:FORWARDOutPort:e7/1

Statistics:TotalPkts:28816124846TotalBytes:14154014509497

TESTEREFLEXIVO”LOOPLÓGICO”

Validação do100G[3]

11

CENÁRIODETESTES

Desafios na operação daAmLight

12

CAMADAFÍSICA

• OpenFlow+Portas 100G:Falta desuporte detecnologiaslegadas para validação docaminho físico• WAN-PHY,LFM/CFM,UDLD,BFD,etc.

• Espelhamento detráfego 100Gainda é custoso:• Host100G,TAP,portmirror,etc.)à CAPEx alto

Desafios na operação daAmLight [2]

13

CAMADALÓGICA• Múltiplosusuários emúltiplos

controladores em paralelo:dificuldade imensa detroubleshooting!

• Mesmo situações simplessetornam umpesadelo na horadotroubleshooting.• Ex:Flowem queotráfego

IPv4funcionaeoIPv6não.

NSI

AmLight’sNRENs

FIBRESDN-IPONOS

SouthernLightAmpath2

Virtualization/Slices (FlowSpace Firewall)

Ampath1Andes1

Phys

ical L

ayer

Sout

hbou

nd A

PI:Op

enFlo

w 1.0

North

boun

d:Us

ers’

APIs

NOX

IDCP

Other NRENs

NOX

OpenNSA

OESS

OSCARS

OESS

Andes2

Univ.Twente Demos SDX

Data

Plan

eCo

ntro

l Plan

e

Comogarantir aconsistência dosflowsefazertroubleshootingnesse tipo decenário?

Verificação deConsistência deregrasOpenFlow

FERRAMENTASDETROUBLESHOOTING– Troubleshootingem SDNé uma tarefa complexa eferramentasdevisibilidadederede são necessárias• PlanodeControle ePlanodeDados

– Aferramenta mais simplesparaseter visibilidadedarede é otraceroute.• Ajuda atraçar ocaminho queumdeterminado pacote escolheu pelarede.

– Otracerouteconvencional é limitadoem redes SDN/OpenFlow• Seu princípio defuncionamentoébaseado nocampoTTLdepacotes IP.

15

• Solução baseada noartigo:– Agarwal,Kanak,etal."SDNtraceroute:TracingSDNforwardingwithoutchangingnetwork

behavior."ProceedingsofthethirdworkshoponHottopicsinsoftwaredefinednetworking.ACM,2014.• Softwarenão disponível!

• Características:– Não invasivo:não requer modificação nas regras deprodução– Baixo overhead:requer poucas entradasna TCAM por switch– Generico:pode traçar pacotes Ethernet/IP– Prático:compatível comamaioria dosswitchesSDNexistentes (ou vSwitch)

• Desenvolvido pelaAmLight usandoPython+JavaScript+Ryu +OpenFlow– Opensource:http://github.com/amlight/SDNTrace– Documentação em progresso!

Verificação deConsistência deregrasOpenFlow [2]

16

SDNTrace:visão geral• Faz coloração devértices (Algoritmo deGreedy)datopologia derede• Nessaimplementação,ocampoVLANpriority field(PCP- três bits)são usados para

armazenar ascores:1-green,2-blue,3-chocolate,etc.– 000à reservado paraotráfegodeprodução (sem tagged)

• Instalaçãoderegras OpenFlow nos switches:envie paraocontrolador iftag==cor doswitchadjacente

17

SDNTrace:visão geral [2]• Pesquisador/Engenheiro/Ususário acessa uma interfaceweb

• Seleciona oswitcheaportadeorigem

18

SDNTrace:visão geral [3]• Usuário cria umpacote ”probe”arbitrário• Eescolhe otipo detrace:Layer-2,Layer-3,ou ambos

19

AmLight SDNDataPlane

FIU

AURA

2

23

1

1

32

2

3

1

1 2

13

Match:VLAN:100TCPDest:80HTTP/WEB

Match:VLAN:100TCPDest:25SMTP

Match:VLAN:100

Legado:VLAN– alltraffic,singlepathSDN:”matches”complexos:customização deperfis detráfego

20

Integração comoutras ferramentas demonitoramento

• SDNTrace APIpermite:– Rodar umtraceapartir doseu próprio controlador– Obter atopologiadarede

• Roadmap:– Expandir oSDNTraceparasetornar umSDNLookingGlass• Traceroute,visualização,tráfego eutilização deporta,blackholedetection,etc.

– Lançamento:finaldeste ano

Conclusão

21

LIÇÕESAPRENDIDAS:100G

• Não espere queaativação doseu primeiro 100Gem uma rededeterceiros será fácil – porque não será!

• Higiene é uma OBRIGAÇÃO:fibras econectores temqueestarperfeitamente limpos!

• Umgerador detráfego torna asua vidamuitomais fácil

• Crie um”baseline”compacotes dediferentes tamanhos paraentender os limites doseu equipamento

Conclusão

22

LIÇÕESAPRENDIDAS:Operação eOpenFlow

• Tecnologias já consolidadas ainda não são suportadas emportas 100GcomOpenFlow:mais capacidade emais desafios

• Acombinação entre100GeOpenFlowrequer ainda maisatenção paraaverificação deconsistência deregras na rede

• OSDNTrace consegue debugar flowsarbitrários epacotes semnecessitar denenhum tipo especialdesuporte além doOpenFlow “básico.”

• Acaracterística chave daferramenta é queela não requernenhum tipo demodificação nas regras deprodução.

HumbertoGalizagaliza@amlight.net

Obrigado!Perguntas?

Monitoramento deenlacesde100Geconsistência deregras OpenFlow

VIIWorkshopdeTecnologias deRedes doPOP-BA26Set2016