Inserindo Credibilidade Estatística aos Resultados de uma ... · Conteúdo Revisão de Probabilidade e Estatística: Média; Desvio Padrão; Distribuição Normal de Probabilidades

Avaliação de Desempenho

Prof. Kleber Rezende

[email protected]

Inserindo Credibilidade Estatística aos

Resultados de uma Avaliação de Desempenho

Conteúdo

Revisão de Probabilidade e Estatística: Média;

Desvio Padrão;

Distribuição Normal de Probabilidades.

Inserindo Credibilidade Estatística aos Resultados

de uma Avaliação de Desempenho: Intervalo de Confiança da Média;

Comparação de Sistemas;

Exercícios;

2 Inserindo Credibilidade Estatística

Revisão


Média: • É o valor que aponta para onde mais se concentram os dados de uma

distribuição.

• É calculada somando-se todos os valores da população e dividindo o

resultado pelo total de elementos da população.

Exemplo: • Uma amostra de 5 barras de aço foi retirada da linha de produção e seus

comprimentos foram medidos. Os valores foram: 4,5; 4,6; 4,5; 4,4; 4,5.

Revisão


Desvio Padrão: • Mostra o quanto de variação ou “dispersão” existe em relação à média

(ou valor esperado).

• Um baixo desvio padrão indica que os dados tendem a estar próximos da

média; um desvio padrão alto indica que os dados estão espalhados por

uma gama de valores.

• É calculado como a raiz quadrada de variância.

• Variância é o somatório dos quadrados das diferenças entre cada valor

da amostra pela média dividido pelo tamanho da amostra.

Revisão


Desvio Padrão (Exemplo 1): • Se medirmos a temperatura máxima durante três dias em uma cidade e

obtivermos os seguintes valores, 28°, 29° e 30°, podemos dizer que a

média desses três dias foi 29°.

• Em outra cidade, as temperaturas máximas nesses mesmos dias podem

ter sido 22°, 29° e 35°. No segundo caso, a média dos três dias também

foi 29°.

• As médias têm o mesmo valor, mas os moradores da primeira cidade

viveram três dias de calor, enquanto os da segunda tiveram dois dias de

calor e um de frio.

Revisão


Desvio Padrão (Exemplo 1):

• Para diferenciar uma média da outra, foi criada a noção

de desvio padrão, que serve para dizer o quanto os

valores dos quais se extraiu a média são próximos ou

distantes da própria média.

• No exemplo anterior, o desvio padrão da segunda

cidade é muito maior que o da primeira.

Revisão



• Uma das aplicações mais comuns do desvio padrão é

para cálculo da classificação no vestibular.

• Se dois candidatos ao mesmo curso tiram nota 7 em

provas diferentes, o peso desse resultado vai depender

do desvio padrão de cada exame.

• Digamos que a média das notas nas duas provas tenha

sido 5.

Revisão



• Aquele que obteve 7 na prova cujo desvio padrão foi

menor, será mais considerado porque significa que ele

conseguiu um 7 em um exame em que quase todo

mundo ficou próximo a 5.

• Enquanto o outro conquistou um 7 em uma prova

onde muitos outros também tiraram notas altas.

Revisão


Desvio Padrão (Exemplo 3): • Vídeo sobre Variância e Desvio Padrão - Dados

agrupados

• Uma pesquisa foi realizada com um grupo de 20

trabalhadores. Cinco disseram ganhar entre 5 e 10

salários mínimos (SM), outros 8 ganham entre 10 e 15

SM, 4 ganham entre 15 e 20 SM e 3 afirmaram ganhar

entre 20 e 25 SM. Calcule a média salarial e o desvio

padrão para o grupo de trabalhadores entrevistados.

https://www.youtube.com/watch?v=ZqYImpe5mqU

















Revisão - Exercício


Imagine a seguinte situação:

O dono de uma microempresa pretende saber, em média, quantos produtos são produzidos por cada funcionário em um dia. O chefe tem conhecimento que nem todos conseguem fazer a mesma quantidade de peças, mas pede que seus funcionários façam um registro de sua produção em uma semana de trabalho. Ao fim desse período, chegou-se à seguinte tabela:



Calcule a média, a variância e o desvio

padrão da produção diária de cada funcionário.

Revisão


Distribuição Normal de Probabilidades

https://www.youtube.com/watch?v=SU25pNw5JEI







Revisão




O salário médio dos funcionários de uma empresa é de R$ 800,00, com desvio padrão de R$ 300,00. Qual a probabilidade de que, selecionando-se aleatoriamente um funcionário, ele receba:

a) entre R$ 650,00 e R$ 1.100,00

b) mais de R$ 900,00

c) menos de R$ 500,00

https://www.youtube.com/watch?v=gWDjdP_dFf4



















Intervalo de Confiança da Média


Introdução

Durante a avaliação do desempenho de um sistema, deve-se ter alguns cuidados:

i. Esperar até que o sistema atinja certo grau de estabilidade (warm-up) – compreende cerca de 10% do tempo inicial do processo;

ii. Definição de um Intervalo de Confiança (IC), que consiste em um intervalo de valores com alta probabilidade de conter a verdadeira média populacional.

https://www.youtube.com/watch?v=Q0_mpG00c_g



Está sempre associado a um grau de confiança

Exemplo: se o grau de confiança for de 95%, significa que existe 95% de probabilidade de a média da população se situar entre os limites do intervalo calculado.

Por outro lado, se a média real estiver fora desse intervalo, significa que a amostra não representa, satisfatoriamente, a população.



Obtém a estimativa de que a média de um sistema analisado esteja contida em um intervalo, onde a probabilidade de a média estar contida nesse intervalo seja igual a um nível de confiança desejado:

Prob{c1<c<c2} = 1-α onde:

(c1, c2) é o intervalo de confiança, em que c1 é o limite inferior e c2 é o limite superior do intervalo;

α é o nível de significância;

100(1 – α) é o nível de confiança

Na avaliação de sistemas computacionais, o valor geralmente usado para o nível de confiança varia de 90% a 99%.

https://www.youtube.com/watch?v=mrJFdexNiB0&t=213s



Exemplo: Uma conexão Fast Ethernet entre duas redes locais foi analisada para verificação do tempo médio de resposta de transmissão de dados entre as duas redes. O gerente da rede tinha o cálculo do intervalo de confiança do tempo de resposta de transmissão em um arquivo de 1 GB, que variava de 90,34 segundos a 93,01 segundos, dependendo do tráfego no link, com 90% de confiança. Portanto, tem-se:

Prob{90,34≤m ≤ 93,01} = 0,9

e

100 (1 - α) = 90 → α = 0,1

Teorema do Limite Central


Este teorema diz que a aproximação do histograma das

médias amostrais para a distribuição Normal melhora à

medida que o tamanho amostral cresce. Isto permite que,

independentemente do tipo da distribuição da população,

seja possível inferir dados e realizar os cálculos desejados

para essa população.



No caso do cálculo do Intervalo de Confiança, deseja-se conhecer o limite inferior e o limite superior onde a média das amostras se localiza com um certo nível de confiança.

Assim, para um nível de confiança de 100 (1-α)%, o IC pode ser calculado por:

Limite inferior:

Limite superior:

onde: é a média das amostras

s é o desvio padrão

n é o tamanho da amostra

é um (1-α/2) quantil de uma Normal (significa o número de desvios padrões que se estendem da média de uma distribuição Normal necessário para conter 1-α/2 da área).

nZX

2/1

nZX

2/1

X

2/1 Z

21



Exemplo 1: Calculando z para um nível de confiança de 90%.

Exemplo 2: Calculando z para um nível de confiança de 95%.

645,195,02

1,01

21 ze

960,1975,02

05,01

21 ze



Exemplo 3: Trinta e quatro amostras de tempo de resposta foram coletadas de uma rede de computadores em diferentes momentos. O conjunto M representa as amostras coletadas (milissegundos):

M={840, 860, 850, 840, 860, 835, 1100, 500, 825, 833, 830, 830, 835, 840, 845, 825, 844, 845, 2000, 820, 840, 843, 844, 845, 823, 844, 843, 855, 851, 811, 847, 850, 834, 849}

a) Calcule o IC com 90% de confiança

b) Calcule o IC com 95% de confiança

IC para amostras pequenas


Para pequenas amostras, a distribuição Normal apresenta valores menos precisos, o que nos leva a utilizar outro modelo, a distribuição t de Student;

Quando o tamanho das amostras é grande, por exemplo 100, a distribuição t é muito similar à distribuição Normal. Mas para amostras pequenas, a distribuição t é mais precisa;

https://www.youtube.com/watch?v=R5BvnidGI7A



Para calcular o valor de t a ser usado, é necessário estabelecer: o nível de confiança desejado e o número de graus de liberdade a ser utilizado.

Usando o símbolo t no lugar de z, tem-se que o IC, neste caso, é dado por:

);( ]1;2/1[]1;2/1[n

stX

n

stX nn

26



Exemplo:

Foram realizadas 25 medidas de vazão de um servidor de banco de dados. A média computada foi de 190 requisições por segundo, com desvio padrão igual a 11. Deseja-se saber, com 95% de certeza, o intervalo de confiança da média.

Comparação de Sistemas


Esta seção mostrará como fazer a

comparação entre os sistemas utilizando quatro técnicas diferentes:

1. Teste da média zero;

2. Observações pareadas;

3. Observações não pareadas;

4. Teste visual.

Teste da Média Zero


Consiste em checar se os valores medidos

são significativamente diferentes de zero.

Usando o IC para o valor medido, verifica-se o intervalo contém zero.

Basicamente, o que se tem a fazer é:

1. utilizar a diferença dos valores das amostras dos dois sistemas;

2. calcular o IC para o nível de confiança desejado.



Se o IC resultante incluir a média zero, não

é possível dizer se os dois sistemas analisados são diferentes em termos de desempenho;

Caso contrário, pode-se afirmar que os sistemas são diferentes, com o nível de confiança desejado.



Exemplo:

A empresa X analisou dois servidores Firewalls para realizar a compra. Foram feitas oito tentativas de passar um tráfego “suspeito” para dentro da rede da empresa, e computou-se o tempo de resposta para cada tentativa filtrada e rejeitada para saber se os sistemas eram compatíveis em termos de desempenho.



Os valores obtidos para a diferença dos tempos de resposta dos dois servidores, em segundos, foram:

D = {1,5; -1,4; 0,8; -1,3; -0,5; 1,7; 0,9; 1,1}

Neste caso, é possível dizer, com confiança de 95%, que um servidor é superior ao outro?

Observações Pareadas


Consiste na comparação direta dos valores

de IC nos casos em que existem n amostras de um sistema A e n amostras de um sistema B, ou seja, correspondência um-para-um.

Observações Pareadas


Exemplo:

Dois roteadores foram comprados e é necessário fazer uma avaliação em relação à vazão de pacotes por segundo. O conjunto da carga de trabalho dos roteadores A e B está resumido no seguinte conjunto de pares (vazão A, vazão B):

Medidas = {(55,4; 69,1), (80,1; 90,2), (59,1; 55,4), (60,2; 60,1), (62,3; 60,1), (55,3; 53,7)}

É possível dizer que um dos roteadores é melhor do que o outro, com confiança de 90%?

Observações não Pareadas


Usado para comparação de dois sistemas

que não possuem correspondência um-para-um.

Neste caso, usa-se o teste t: 1. Calculam-se as médias das amostras e

2. Calculam-se os desvios padrões Sa e Sb

3. Calcula-se a diferenças da média

4. Calcula-se o desvio padrão da diferença da média

aX bX

ba XX

isistemadoamostrasdenúmerooénonden

s

n

ss i

b

b

a

a

22



4. Calculam-se os graus de liberdade

5. Calcula-se o IC da diferença da média

stxxvba ];1[ 2

2

1

1

1

12

22

2

22

b

b

ba

a

a

b

b

a

a

n

s

nn

s

n

n

s

n

s

v



Exemplo:

Dois sistemas de processamento de requisições Web foram medidos em relação ao tempo de atendimento de requisições. Os valores medidos, em segundos, para os sistemas foram:

A = {1,22; 1,23; 1,67; 0,98; 0,88; 3,34}

B = {0,99; 1,48; 3,88; 1,20; 2,09}

Deseja-se saber, com 90% de certeza, se os dois sistemas são significantemente diferentes.

Teste visual


Neste teste, utiliza-se a comparação dos

sistemas, através da sobreposição dos intervalos de confiança analisados. São possíveis três opções:

1. IC não se sobrepõem (neste caso, a análise comparativa pode se basear na média)

2. IC e médias se sobrepõem (neste caso, não possível dizer que os sistemas são diferentes)

3. IC se sobrepõem, mas médias não (neste caso, não é possível ter certeza sobre a diferença dos sistemas)

Teste visual


Exemplo:

Os tempos de resposta de dois servidores para uma mesma tarefa foram medidos e os ICs com 90% foram calculados em:

MédiaA = 10,71, ICA = (10,24; 10,98)

MédiaB = 10,91, ICB = (10,18; 12,23)

Deseja-se saber, com 90% de certeza, se os dois sistemas são significantemente diferentes.

Referências Bibliográficas

JOHNSON, T. e MARGALHO, M. Avaliação de Desempenho de

Sistemas Computacionais, Rio de Janeiro: LTC, 2011

PORTAL ACTION. Disponível em: http://www.portalaction.com.br.

Acesso em: 14 nov. 2016


http://www.portalaction.com.br/

Documents

Inserindo Credibilidade Estatística aos Resultados de uma ... · Conteúdo Revisão de Probabilidade e Estatística: Média; Desvio Padrão; Distribuição Normal de Probabilidades