Reunião MonIPÊ – Recife, 27 de Maio de 2009 Monitoramento da Rede Ipê (MonIPÊ): Visão Geral José Augusto Suruagy Monteiro [email protected]

Reunião MonIPÊ – Recife, 27 de Maio de 2009

Monitoramento da Rede Ipê (MonIPÊ): Visão Geral

José Augusto Suruagy [email protected]

http://wiki.monipe.rnp.br

mailto:[email protected]

http://wiki.monipe.rnp.br/


Objetivos do Serviço MonIPÊ

• Monitorar e disponibilizar dados sobre o estado da Rede Ipê de modo a:– Melhorar a percepção do usuário em relação à rede

• Ajuste das expectativas dos usuários

– Redução do custo de diagnósticos• Identificação antecipada de problemas de desempenho• Identificação eficiente de problemas de desempenho• Gerentes de rede com acesso a dados fora do seu domínio

administrativo (NRENs associadas)

– Transformar o projeto das aplicações:• Que poderão se adaptar utilizando informações disponíveis sobre

o estado da rede


Visão

• Dados sobre desempenho:– Disponível:

• As pessoas podem encontrá-la.• “Comunidade de confiança” permitindo o acesso em

domínios administrativos diferentes.– Ubíqua:

• Implantada amplamente (cobertura dos caminhos de interesse)

• Confiável (configuração consistente) – Valiosa:

• Acionável (a análise sugere o procedimento a ser adotado)• Automatizável (aplicações agem de acordo com os dados)


Métricas

• Atraso de ida e volta (RTT – Round Trip Time)• Perdas de ida e volta• Utilização• Atraso em um sentido (One way delay)• Variação do atraso em um sentido (jitter)• Perdas em um sentido• Reordenação de Pacotes• Largura de banda alcançável (TCP, UDP)• MOS (Mean Opinion Score)• Fluxos (volume de pacotes, bytes, tipo de protocolo)


Ferramentas

• Ping:– Atraso de ida e volta (RTT – Round Trip Time)– Perdas de ida e volta

• SNMP:– Utilização

• OWAMP:– Atraso em um sentido (One way delay)– Variação do atraso em um sentido (jitter)– Perdas em um sentido– Reordenação de Pacotes

• Iperf/BWCTL:– Largura de banda alcançável (TCP, UDP)

• Netflow/Sflow– Fluxos (volume de pacotes, bytes, tipo de protocolo)


The Wizard Gap


Experiência Real Fim-a-fim

•Percepção do usuário

•Aplicação

•Sistema Operacional

•Pilha IP do hospedeiro

•Placa de rede

•Rede Local

•Rede do backbone do campus

•Enlace do Campus para a rede regional/PoP

•Conexão do PoP ao backbone da Rede Ipê

•Conexões internacionais

OLHO

APLICAÇÃO

PILHA

CONECTOR

REDE

. . .

. . .

. . .

. . .

O Problema

Desenvolvedorda Aplicação

Administradordo Sistema

Administrador da LAN

Rede do Campus

PoP PoP

Backbone

Rede do Campus

Administradorda LAN

Administradordo Sistema

Desenvolvedor da Aplicação

Como você resolve um problema no meio do caminho?Todo mundo diz que está tudo funcionando bem!

Ei, isto não está funcionando

direito!

O computador está

funcionando bem!

Fale com os outros

Está tudoOK

Ninguém maisestá reclamando

A rede está com baixa utilização

Todas as luzesestão verdes

Não estamos vendonada errado!

Parece ok!

Outros estãochegando bem

O problema não é nosso


perfSONAR

• Infra-estrutura para a monitoração do desempenho de redes.

• Facilita a solução de problemas de desempenho fim-a-fim em caminhos através de diversas redes.

• Contém um conjunto de serviços que disponibilizam medições de desempenho num ambiente federado.

• Estes serviços agem como uma camada intermediária entre as ferramentas de medição e as aplicações de diagnóstico ou de visualização.

• Utiliza protocolos bem definidos para a troca de dados de medições entre redes.


Arcabouço do perfSONAR


Testes através de Múltiplos Domínios

NREN NREN

RNPNREN

NREN

GéantInternet

2

ESNet

Clara

...

...

.

.

.


• www.perfsonar.net• Colaboração entre:

– ESNet– Géant2– Internet2– RNP

• Participantes da Géant2:– ARNES, BELNET,

CARNET, CESNET, DANTE, DFN, FCCN, GARR, GRNET, IST, POZNAN, RedIRIS, Renater, SURFnet, SWITCH, UNINETT

• Participantes da Internet2:– FERMIlab, GeorgiaTech,

SLAC, University of Delaware, University of Indiana.

perfSONAR


Arquitetura perfSONAR

• Middleware interoperável de medições de redes:– Modular– Baseado em serviços Web– Descentralizado– Controlado localmente

• Integra:– Ferramentas e arquivos de medições de redes– Descoberta– Autenticação e autorização– Transformação de dados– Topologia

• Baseado em:– esquemas definidos pelo NMWG do OGF.


Serviços do perfSONAR

• Ponto de medição (MP – Measurement Point):– CL-MP (Command Line MP), Ping, SNMP, etc.

• Arquivo de medições (MA – Measurement Archive):– RRD-MA, SQL-MA, Flow SA-MA

• Descoberta (LS – Lookup Service)– Em desenvolvimento a integração entre LSs de redes

diferentes (dLS – distributed LS)

• Autenticação e Autorização (AS)– AuthN, AuthR (em desenvolvimento), baseados no eduGAIN

• Topologia (TopS)– Baseado em esquema em definição no NML-WG do OGF


Serviços do perfSONAR

• Transformação (TS)– Ex.: agregação, correlação, filtragem e tradução de dados.

• Proteção de Recursos (RP – Resource Protector)– Limitar a utilização de recursos limitados, tais como largura de

banda.


Here is who I am, I’d like to access MA B

Where Link utilisation along - Path a,b,c,d,e,f?a,b,c: Network A – LS A, c,d,e,f : Network B, MA B, AA B

Cliente

Rede A Rede B

LS A LS BMA A MA B

AA A AA B

a b

c de f

Where Link utilisation along - Path a,b,c?a,b,c : Network A, MA A, AA A Token MBHere is who I am, I’d like to access MA A

Get link utilisation c,d,e,fHere you go

Token MA

Get Link utilisation a,b,cHere you go

Useful graphFonte: www.perfsonar.net

Interação multidomínio


perfSONAR-MDM-3.1

• Lookup Service (LS)• Authentication Service (AS)• RRD MA• SQL MA• perfSONAR Buoy MA (BWCTL Data)• BWCTL MP• Telnet/SSH MP• Command Line MP (CL-MP)• perfSONAR-OS Pinger MP e MA• Disponibilizado em 21/01/09


Ferramentas de visualização

• CNM (Customer Network Management)– Desenvolvido pela DFN

• perfsonarUI– Desenvolvido pela acad.bg

• VisualperfSONAR– Desenvolvido pelo University Computing Centre em Zagreb.

• NEMO– Em desenvolvimento pela UNNINET


perfsonarUI


Atividades de medições na RNP

• GT-QoS (2002-2003)– Infra-estrutura de medições de fluxos (Netflow)

• GT-QoS 2 (2003-2004)– Análise de dados do Netflow– Medições passivas com placas de captura– Medições ativas com AMP e OWAMP

• GT-Medições (2004-2005)– Implantação do ambiente piPEs-BR– Implantação de um ambiente de monitoramento de acordos

de nível de serviço (nSLA).


Atividades de medições na RNP

• GT-Medições 2 (2005-2007)– Refinamento do protótipo (compatibilização com o

perfSONAR): CL-MP, ICE, CactiSONAR, Documentação e Testes

– Pilotos:• Implantação de MPs na Rede Ipê• Monitoração para o piloto do projeto EELA• Integração com as ferramentas do GT-GV

– Disseminação:• Workshop de Medições• Curso no 13º SCI


MPs do Piloto do GT-Medições 2

Ativos com GPS

Ativos sem GPS


Malha de medição rede IPÊ – Full Mesh - OWD

Testes Regulares - OWAMP


Malha de medição rede IPÊ – Largura de banda alcançável – Janela TCP 32kbps

Testes Regulares – BWCTL


NDT:Teste de Acesso



Ferramenta desenvolvida: ICE


Ferramenta desenvolvida: CactiSONAR

• Controle do monitoramento fim-a-fim no contexto do perfSONAR

• Aumentar as possibilidades de gerenciamento• Integra a infra-estrutura do perfSONAR ao CACTI• Permite aos administradores:

– Observarem dados históricos– Agregação e a composição de métricas

• Implementa o RRD-MA:– Expõe dados coletados pelo ambiente– Serviço configurável permitindo restrição sobre os dados

publicados


CactiSONAR ambiente Integrado

Núcleo do CACTI

Arq. RRD Conf. MySQL

CACTI

CACTISonar

MP

MP

MP

Roteador

Switch

Servidor

GERÊNCIA

Interface

Admin

MARRD

perfSONAR-UI

Usuário

perfSONAR-UI

Usuário


Exemplos de Novos Gráficos do CactiSONAR

(a) (b)

(c) (d)

(a) Variação de atraso unidirecional (OWAMP)(b) Atraso bi-direcional (Ping)(c) Largura de banda alcançável em UDP(d) MOS baseado em atraso, variação do atraso e perdas (Ping)


Acesso ao RRD-MA do CACTISonar

perfSONARUI acessando alguns dados do CACTISonar


O Serviço Experimental MonIPÊ

• Objetivo principal:– prover informações de monitoramento a todos os tipos de

usuários.

• Público Alvo:– Usuários da RNP e das NRENs parceiras.

• Fase experimental:– Infra-estrutura inicial implantada em pontos específicos da

Rede Ipê.


Objetivos Específicos

1) Caracterização do tráfego através de medições de fluxos que atravessam os roteadores;

2) Medições de alta precisão do desempenho da rede, por meio da obtenção das medidas de atraso, variação do atraso, perdas e largura de banda disponível;

3) Testes regulares de conectividade;4) Medições de desempenho de última milha tendo em

vista o usuário final;5) Um ambiente de verificação e acompanhamento do

desempenho da rede.


Categorias de Usuários

• Usuários em geral:– visualização dos resultados obtidos com os testes regulares,– utilização de ferramentas de aconselhamento e – testes na rede de acesso.

• Usuários avançados:– demandam a realização de testes personalizados e – acompanhamento para experimentos colaborativos.– GT Travel, GT-Overlay, CNPTEC, EELA 2, LHC, etc.

• Usuários de gerência:– Administradores das redes institucionais, CEO, etc.


Infraestrutura em implantação


Componentes

• Ponto de Medição de Linha de Comando (CL-MP) – realiza testes de medição através das ferramentas de monitoramento;

• Measurement Archive (MA) – módulo que realiza o armazenamento dos dados de medição;

• Ferramentas de visualização – permitem aos usuários acesso ao ambiente MonIPÊ;

• Lookup Service (LS) – permite a consulta aos serviços disponíveis no ambiente MonIPÊ;

• Authentication Service (AS) – fornece autenticação aos serviços disponíveis;

• NFDUMP – coleta dados dos roteadores e armazena numa base RRD.

• NFSEN – ferramenta web de visualização que faz acesso à base RRD do NFDUMP.


Localização dos MPs

Implantados em 2008

A implantar em 2009


Equipamentos em cada Localidade (MPs)

Kit de sincronização com GPS

{owamp}.pop-XX.rnp.br

{ndt| bwctl}.pop-XX.rnp.br


Servidores Centrais

MA-SQL, LS e AS

CactiSONAR e MA-RRD

Medições passivas (fluxos)

Está prevista a instalação de servidores de redundância ainda em 2009


Portal do Serviço MonIPÊ

www.monipe.rnp.br


Wiki do Serviço MonIPÊ

http://wiki.monipe.rnp.br


UFSC:• Edison T. L. Melo• André Durieux• Marco Curi• Jonatan• Paulo• Rodrigo Pescador

UNIFACS:• Herbert M. Souza• José Suruagy• Leobino Sampaio• Patrícia Dourado• Yuri Leal

• RNP:– Ari Frazão Jr. (CEO)– Leonardo Carneiro (CEO)– Ana Lucia de Moura (DI)

Equipe Atual


OBRIGADO!

Documents

Reunião MonIPÊ – Recife, 27 de Maio de 2009 Monitoramento da Rede Ipê (MonIPÊ): Visão Geral José Augusto Suruagy Monteiro [email protected]