2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 O Serviço Experimental MonIPÊ Estratégias de Medição Ativa e Análise de Resultados Edison Melo

2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009

O Serviço Experimental MonIPÊ

Estratégias de Medição Ativa e Análise de Resultados

Edison MeloEquipe MonIPÊ

[email protected]

[email protected]

http://wiki.monipe.rnp.br


Agenda

• Matrizes de Medição

– Métricas e aplicabilidade

– Testes Regulares

• Ferramentas

• Parâmetros de

medições

• Matriz de medições

– Testes sob Demanda

• Na última milha

• Análise de resultados

– Gráficos CACTISonar

– Resultados

– Análises de eventos

– Conclusões


• Atraso em um sentido– Detecção de sintomas de congestionamento– Medição de alta precisão,– Validar aplicação na rede (ex: VoIP, Vídeo)

• Atraso de ida e volta– Identificar congestionamento na rede– Identificar baixo desempenho em TCP em links de

alta velocidade– Medir a disponibilidade de dispositivos de rede– Estimar o atraso sem a necessidade de

sincronização de relógios

3

Métricas e aplicabilidade (1)


• Variação do atraso em um sentido• Predição de desempenho de aplicações

sensíveis a variação do atraso (VoIP)– Dimensionamento do de-jitter buffer– Detecção de sintomas de congestionamento

• Perda de pacotes• Congestionamento e erros são as duas maiores

razões para a perda de pacotes

4



• Largura de banda alcançável (TCP/UDP)– Certificação do enlace contratado, – Dimensionamento de aplicações, – Simulação e aplicação rodando na rede

• Métricas Derivadas MOS– Métrica subjetiva para avaliar capacidade da

rede para suportar VoIP– Estimativa do valor através de parâmetros da

rede (atraso, variação do atraso e perdas)

5



• Testes Regulares• Realizados periodicamente

• Configuração fixa

• Utiliza a malha de medição e parâmetros “fixos”

• Utilizado para simulação do comportamento de aplicações

• Análise de tendências da rede

• Testes sob Demanda• Usuários autorizados

– Utilizado para certificação de enlaces entre PoPs e instituições

– Obtenção de resultados em tempo real

• Usuários em geral

– Utilizado para medição da última milha

6

Classificação dos Testes


• Ambiente de medições – CACTISonar, perfSONAR CL-MP e perfSONAR MA

• Ferramentas e Métricas– OWAMP

• Medição do atraso em um sentido• Perdas em um sentido• Cálculo da variação do atraso• Cálculo do MOS• Outras métricas derivadas

– BWCTL• Largura de banda alcançável em TCP• Largura de banda alcançável em UDP• Outras métricas derivadas

7

Testes Regulares

2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 8

Testes Regulares – Malha de medição


• Parâmetros de medição – OWAMP (Full Mesh)

– O propósito da malha de medição (full mesh) é ter uma visão geral do estado da rede

identificando individualmente o estado da comunicação entre todos os PoPs

– Periodicidade

• De 5 em 5 minutos

– Pacotes de teste: 10 pacotes por fluxo de teste

– Tamanho do pacote: 42 Bytes

• 20 Bytes: IP

• 8 Bytes: UDP

• 14 Bytes: Payload

– Intervalo entre pacotes de teste: 10 pacotes por segundo

– Largura de banda para medição: ~3,36Kbps por fluxo

– Impacto na rede: Desprezível

9

Testes Regulares - OWAMP


Malha de medição rede IPÊ – OWAMP (Full Mesh)

• Medição entre os PoPs (Full Mesh) • Instituições medem com o PoP diretamente conectado • Um ciclo de medição a cada 5 minutos• 289 medições por ciclo• Agendamento: CACTISonar MA Central - Escalamento: CL-MP

Testes Regulares – OWAMP (2)

NPctes/fluxo 10Tam Pctes 42Bytes/fluxo 420Bits / fluxo 3360Kbbps 3,36Fluxos 289

No Pcotes por fluxo14+20+8NPctes * Tam-PctesBytes/fluxo * 8Bits/fluxo / 1000

No Fluxos de medição

+9 PoPs=30,24=> 87,36


• O objetivo desta medição periódica é obter indicadores de desempenho da rede na presença de tráfego de voz utilizando o codec g.711

• Protocolo: UDP• Periodicidade:

– De 60 em 60 minutos

• Duração do teste: 3 minutos• PPS: 50• Tamanho do pacote: 200 Bytes

– 20 Bytes – cabeçalho IP– 8 Bytes – UDP– 12 Bytes – RTP– 160 Bytes - Payload– Consumo de banda: 80Kbps por fluxo– Impacto na rede: Baixo

11

Simulação de fluxo de voz – g.711



Malha de medição rede IPÊ – Simulação Fluxo g.711

• Fluxos com origem e destino em Brasília• Um ciclo de medição de 3 minutos a cada 60 minutos• 34 medições por ciclo• Agendamento: CACTISonar MA Central - Escalamento: CL-MP Armazenamento: MA-SQL

Simulção de chamada com G.711

Destino / 1Origem AM

1AM


Destino / 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Kbps PPS Origem AC AM AP BA CE DF ES MG MT PA PE PR RJ RN RR RS SC SP

1 AC 80 80 502 AM 80 80 503 AP 80 80 504 BA 80 80 505 CE 80 80 506 DF 80 80 80 80 80 - 80 80 80 80 80 80 80 80 80 80 80 80 1360 8507 ES 80 80 508 MG 80 80 509 MT 80 80 50

10 PA 80 80 5011 PE 80 80 5012 PR 80 80 5013 RJ 80 80 5014 RN 80 80 5015 RR 80 80 5016 RS 80 80 5017 SC 80 80 5018 SP 80 80 50 Kbps 80 80 80 80 80 1360 80 80 80 80 80 80 80 80 80 80 80 80 2.640 - PPS 50 50 50 50 50 850 50 50 50 50 50 50 50 50 50 50 50 50 - 1700

Kbbps 80Duração 3minFluxos 34


• O objetivo desta medição periódica é obter indicadores de desempenho da rede na presença de tráfego de voz utilizando o codec g.729.

• Protocolo: UDP• Periodicidade:

– De 30 em 30 minutos

• Duração do teste: 3 minutos• PPS: 50• Tamanho do pacote: 60 Bytes

– 20 Bytes – cabeçalho IP– 8 Bytes – UDP– 12 Bytes – RTP– 28 Bytes - Payload

• Consumo de banda: 24 Kbps• Impacto na rede: Baixo

13


Simulação de fluxo de voz – g.729


• Fluxos com origem e destino em Brasília• Um ciclo de medição de 3 minutos a cada 30 minutos• 34 medições por ciclo• Agendamento: CACTISonar MA Central - Escalamento: CL-MP Armazenamento: MA-SQL

Destino /

Origem

Malha de medição rede IPÊ – Simulação Fluxo g.729



• Esta medição tem como objetivo identificar a largura de banda alcançável entre dois pontos finais.

• Periodicidade

• De 60 em 60 minutos

• Duração do teste – 10 segundos

• Tamanho da janela TCP– Otimizada pelo BDP

• Consumo de banda: Deve utilizar toda a banda disponível até o limite da capacidade da interface

• Impacto na rede: – Baixo

– Semelhante a um FTP

15

Parâmetros de medição BWCTL – Medição TCP

Testes Regulares – Bwctl


Malha de medição rede IPÊ – Largura de banda alcançável - BWCTL - TCP

• Um ciclo de medição a cada 60 minutos• 40 medições por ciclo• Agendamento: CACTISonar Escalamento: CL-MP Armazenamento: MA-SQL

Testes Regulares – Bwctl (2)

IntervaloFluxos de medição Baseado na topologia da rede IPÊ = Medição entre vizinhos nos dois sentidos

Calculado de acordo com BDPCalculado de acordo com BDP

Janela ServidorJanela Cliente

10 Segundos1 / hora40

Duração


• As medições sob demanda são utilizadas para avaliar instantaneamente o estado da rede.

• O objetivo deste tipo de medição é permitir aos usuários autorizados realizarem medições não contempladas pelas medições regulares.

• Este tipo de medição tem como objetivo descobrir a capacidade de um enlace ou uma conexão fim-a-fim em escoar um determinado tipo de tráfego.

• Avaliar com mais profundidade um problema de desempenho na rede.

17

Testes sob Demanda


• Ambiente– ICE, perfSONAR/CL-MP

• Ferramenta: – BWCTL - UDP

• Finalidade– Certificação de desempenho/capacidade de enlaces

• Tipo de usuário – Usuários autorizados

• Parâmetros de medição– Largura de banda: Configurável

– Tamanho do pacote: 1500 Bytes

– Largura de banda para medição: Configurável

– Impacto na rede: Pode ser Alto

18

Certificação de enlaces em tempo real (UDP)

Testes sob Demanda


• Ambiente – ICE, perfSONAR CL-MP

• Ferramenta – BWCTL - TCP

• Finalidade: – Certificação de desempenho/capacidade de enlaces

• Tipo de usuário – Usuários autorizados

• Parâmetros de medição– Duração do teste: Configurável pelo usuário– Tamanho da janela TCP: Otimizada pelo BDP– Largura de banda para medição: Deve utilizar toda a banda disponível

até o limite da capacidade das interfaces• Impacto na rede:

– Depende do tempo, porém usa TCP e se adapta– Semelhante ao FTP

19

Certificação de enlaces em tempo real (TCP)

Testes sob Demanda


• Ambiente– ICE, perfSONAR CL-MP

• Ferramenta– OWAMP

• Finalidade– Verificação de qualidade do enlace em tempo real

• Tipo de usuário– Usuários autorizados

• Métricas– Atraso unidirecional e perdas

• Parâmetros de medição - OWAMP– Pacotes de teste: 10 pacotes por teste ou Configurável– Tamanho do pacote: 42 Bytes (14 + 20 + 8) ou Configurável– Intervalo entre pacotes de teste: 10 pacotes por segundo ou Configurável– Largura de banda para medição: ~3,36Kbps ou Configurável– Impacto na rede: Desprezível por padrão (Pode ser alto)

20

Atraso e perdas em um sentido

Testes sob Demanda


• Ambiente de medição– Network Diagnostic Tool (NDT) - Servidores– Cliente WEB na estação do usuário final

• Métricas– Largura de banda alcançável em TCP

• Parâmetros de medição– Duração

• 10 segundos – cliente para servidor• 10 segundos – servidor para cliente

• Consumo de banda – Deve utilizar toda a banda disponível até o limite da capacidade da

interface de menor capacidade• Impacto na rede:

– Baixo– Semelhante a um FTP

21

Desempenho da última milha

Testes sob Demanda


Visualização de resultados


• Ferramenta: ping– Atraso Bidirecional– Variação do Atraso Bidirecional– Pacotes– Percentis

• Ferramenta: owamp *– Atraso Unidirecional– Variação do Atraso Unidirecional– Pacotes (erros, fora de ordem, perdidos)– Percentis– Sincronização de Relógio– Erro de Temporização– Hops– MOS

Tipos de gráficos

Gráficos CACTISonar (1)

* Gráficos utilizados até o momento pelo Monipê


• Ferramenta: bwctl (tcp) *– Vazão– Quantidade de dados transmitidos– Janela– MTU, MSS

• Ferramenta: bwctl (udp)– Vazão– Perda– Buffer– Datagramas– Jitter– Banda Transmitida– Acumulado

Tipos de gráficos

Gráficos CACTISonar (2)

* Gráficos utilizados até o momento pelo Monipê


Atraso Unidirecional

• Este gráfico mostra o atraso unidirecional entre dois Pontos• Medição em milisegundos (ms)• Valores: Mínimo, Médio, Mediana, Máximo


Variação do atraso

• Basicamente é a diferença do tempo de chegada entre pacotes• Não é sensível a precisão de relógio• Medido em MS | (Gráfico geralmente mostra em m (ms), microsegundos)• Valores no gráfico

– Variação do atraso– Desvio padrão


Atraso - Percentis

• Um percentil é o valor de uma variável abaixo do qual uma determinada porcentagem de observações se encontra. Então o 25o percentil é o valor (ou escore), abaixo dos quais 25 por cento das observações podem ser encontrados

– Considerando a média do atraso- p25 – 25% Dos valores medidos para atraso e tem valor inferior a 2,20 MS- P50 – 50% Dos valores medidos para o atraso tem valor inferior a 2,22 MS


Pacotes

• Apresenta percentual de – OWD Loss: Pacotes perdidos– OWD Dup: Pacotes duplicados– OWD Reord: Pacotes fora de ordem


MOS

• Mean Opinion Score – Nível / Escala

5 excelente4 bom3 Médio2 Ruim1 péssimo


HOP

• Número de roteadores no caminho fim-a-fim– Permite verificar mudanças de topologia– Caminhos assimétricos


Clock Sync

• Mostra se o teste OWAMP foi realizado com o host sincronizado através do NTP


Time error

• Apresenta o erro de relógio do host em relação ao NTP em segundos – O relógio dos dois hosts envolvidos na medição são apresentados– SC: ST1 (GPS)– PR: ST2 (Fonte Interna via NTP)


BWCTL - Bandwidth

• Estimativa da largura de banda alcançável• Medida em bps / Mbps• O gráfico apresenta somente um sentido da medição


BWCTL - Transmitted

• Estimativa da quantidade de dados transmitida• Medida em bytes / Mbytes• O gráfico apresenta somente um sentido da medição


BWCTL – Packet (Característica do pacote)

• MTU - Unidade Máxima de Transmissão– MTU descreve o tamanho máximo de um pacote IP que pode ser

transferido sobre um link sem fragmentação 1500 bytes (Ethernet, 802.11 WLAN) 9000 ou mais Bytes (Jumbo Frame, se ativo)

• MSS - Maximum Segment Size Genericamente: MTU – ( IP + TCP Headers) = 1500 - (20 + 20) = 1460


BWCTL - Window

Tamanho da Janela TCP Medido em Bytes

Relação com o BDP

BDP = Largura de banda de contenção/gargalo x Atraso do caminhoAjuda a estimar tamanho ótimo da janela do TCPEx: Link 2Mbps, atraso RTT = 300ms 2000000 x 0,30 = 600.000 / 8 = 75.000 bytes = Valor da janela TCP, ou 2/8 = 0,25 * 0,3 = 0,75M = 75 Kbytes 10Mbps, atraso 100ms 10.000.000 x 0,10 = 1.000.00 / 8 = 12.500 bytes = 125 KBytes


Efeito do tamanho dajanela TCP naVazão

64KB=42Mbps75KB=100Mbps420K=413Mbps

RTT ~ 6ms BDPLarg. Banda=1G

Efeito do tamanho da Janela TCP

37

Medição na Rede Giga


Análise de resultados


Panorama geral da rede (out/2008)


Panorama geral da rede (mai/2009)


Panorama geral da rede


Panorama geral da rede (out/2008)


Panorama geral da rede (mai/2009)

RJ – One Way Delay


SC → PA (out/2008)

Banda X Atraso Unidirecional X Variação de Atraso Unidirecional


Vazão TCP: PA → RJ

Porque baixavazão se existe banda nosentido PA -> RJ

???

Banda X Vazão


Vazão RS → SC (09/10/2008)

Hops

OWDMps – Links PoPsSC 1GbpsRS 100Mbps ** Instalação Provisória

Evento:enlace SC – RS Fora

Enlace Fora do Ar


VoIP MOS: PA (102M) – SC (2,5G)

RJ - PA

SC - PA

PA - SC

Qualidade de Voz através da análise do MOS


VoIP MOS: AM (20M) – SC (2,5G)

AM - SP

SC - AM

AM - SC

Qualidade de Voz através da análise do MOS (2)


VoIP MOS: AC (6M) – SC (2,5G)

AC - SC

SC - AC




AC - SC

SC - AC




AC - SC

SC - AC



VoIP MOS: AC (6M) – SC (2,5G) II

AC - SC

SC - AC



• Categorias de Enlaces dos PoPs– Enlaces entre 1Gbps e 10Gbps

• RS, SC, PR, SP, RJ, BA, PE, CE, MG, DF– Enlaces entre 100Mbps e 155Mbps

• MT, PA, RN, ES– Enlaces de 6 a 20Mbps - Terrestre

• AM, AC– Enlaces de 4 e 6Mbps - Satélite

• RR, AP

Analise de Medições (out/2008)



• Categorias de Enlaces dos PoPs– Enlaces entre 1Gbps e 10Gbps

• RS, SC, PR, SP, RJ, BA, PE, CE, MG, DF• Enlaces não congestionados• Enlaces de alta capacidade de transmissão• OWD Estável (Atraso Unidirecional)• Baixa ou quase nenhuma perda de pacotes• MOS Muito bom• Vazão TCP Limitada pelo BDP• Bom sincronismo através da rede ( Jitter <0,02ms)• Atraso baixo e mantém correlação com a distância entre os PoPs• Variação do atraso dentro do esperado


• Categorias de Enlaces dos PoPs– Enlaces entre 100Mbps e 155Mbps

• Alguns Enlaces congestionados– PA pelo menos em um sentido

–atualmente ok ??– MT está OK

• OWD Não Estável• Relativa perdas de pacotes• MOS razoável (RNP → PA)• Baixa Vazão• Sincronismo NTP ruim (links

congestionados)



• Categorias de Enlaces dos PoPs– Enlaces de 6 a 20Mbps - Terrestre

• AM, AC• Enlaces congestionados

– Enlaces de baixa capacidade• OWD Variável• Alta perdas de pacotes no sentido do PoP para o

Núcleo da rede• Baixa vazão (~ 650kbps/150kbps horário Pico e não

congestionado)• Sincronismo NTP via rede ruim• Médio Atraso• Variação do atraso médio e constante



• Categorias de Enlaces dos PoPs– Enlaces de 4 e 6Mbps - Satélite

• Enlaces congestionados• Elevada perdas de pacotes• MOS razoável ( RNP → AP)• Baixa Vazão• Sincronismo NTP ruim (links

congestionados)• Elevado tempo de propagação OWD >

250ms causado pelo enlace via satélite



Conclusões

• Matrizes são dimensionadas para:

• Possibilitar uma visão geral da saúde da rede

• Emular o comportamento de aplicações

• Categorizações específicas dos enlaces

• Eventos podem ser visualizados pelas medições


Obrigado

Dúvidas/SugestõesEdison Melo

[email protected]

Equipe MonIPÊ[email protected]@monipe.ufsc.br

http://wiki.monipe.rnp.br/

Documents

2ª Reunião MonIPÊ - 10º Workshop RNP Recife – 27/Maio/2009 O Serviço Experimental MonIPÊ Estratégias de Medição Ativa e Análise de Resultados Edison Melo