Introdução à Estatística Análise Exploratória de Dados ...romulosilvadeoliveira.eng.br/discipli/cad-tr2/tve-aula-1.pdf · Informática e Estatística (INE) da Universidade Federal

Introdução à Estatística Análise Exploratória de Dados Probabilidade Modelos Probabilísticos Testes de Hipóteses

Universidade Federal de Santa Catarina (UFSC)Programa de Pós-Graduação em Engenharia de Automação e Sistemas (PPGEAS)

Disciplina: Sistemas de Tempo Real II

Introdução a Probabilidade e Estatísticapara Teoria dos Valores Extremos (TVE)

Karila Palma Silva Luís Fernando Arcaro

[email protected] [email protected]

Rômulo Silva de Oliveira

[email protected]

Novembro de 20171 / 33


Observações importantes

Observações importantes:

• Este material foi elaborado com base no conteúdo da disciplinaMétodos Estatísticos, conforme ministrada no Departamento deInformática e Estatística (INE) da Universidade Federal de SantaCatarina (UFSC) pelo Prof. Dr. Marcelo Menezes Reis [1].

• Não trata-se de um curso completo de probabilidade e estatística,mas sim de uma revisão para embasar a introdução à aplicaçãoda Teoria dos Valores Extremos (TVE) no contexto de análisetemporal de Sistemas de Tempo Real (STRs).

2 / 33


Conteúdo

1 Introdução à Estatística

2 Análise Exploratória de Dados

3 Probabilidade

4 Modelos Probabilísticos

5 Testes de Hipóteses

3 / 33


Introdução à Estatística

4 / 33



Estatística:

• É a ciência de obter conclusões a partir de dados, e permite:• Garantir a validade dos dados coletados para testar as hipóteses.• Verificar se discrepâncias entre os resultados esperados e os dados

coletados são suficientes para justificar mudanças nas hipóteses.• É considerada requisito para a validade científica dos resultados

obtidos a partir de experimentos sujeitos a variabilidade.

5 / 33



Variáveis:

• São características observáveis do fenômeno pesquisado,como altura de pessoas ou tempo de execução de tarefas.

• Sua observação / medição fornece os dados analisados.

• Em um dado momento cada variável pode assumir apenasum valor para cada um dos elementos pesquisados.

• As hipóteses de pesquisa são formuladas sobre seus valorese/ou sobre seus relacionamentos com as demais. Exemplos:

• “A altura média do homem brasileiro é maior que 1,69m.”

• “Homens são em média mais altos que mulheres.”

6 / 33


Análise Exploratória de Dados

7 / 33



Análise Exploratória de Dados:

• Tem por objetivo analisar o comportamento das variáveis, tantoindividual quanto em função do comportamento das demais.

• As ferramentas utilizadas (e.g. medidas, tabelas e gráficos)variam de acordo com o tipo de dado analisado.

• Esta revisão restringe-se a ferramentas para dados associadosa variáveis quantitativas (numéricas) contínuas (infinitos valores).

• Restringe-se ainda a ferramentas para análise individual devariáveis, ou seja, suprime-se a análise de relações entre elas.

8 / 33



Medidas de síntese:

• Média aritmética simples: Medida de tendência central querepresenta o centro de massa do conjunto de dados.

• Existe apenas uma média para qualquer conjunto de dados.• Pode ser distorcida por valores discrepantes (outliers).

Xni 1 Xi

n

• Variância: Medida de dispersão ou de variabilidade dos dados.• É o desvio quadrático médio em relação à média aritmética simples.• Para amostras usa-se n 1 no denominador ao invés de N, para

fins de correção de viés (correção de Bessel).

S2ni 1 X X

2

n 1

9 / 33



Medidas de síntese:• Separatrizes/Quantis: Valores que dividem o conjunto de dados,

depois de ordenado, em um certo número de partes iguais.• Mediana: Divide o conjunto ordenado em 2 partes.• Quartis: Dividem o conjunto ordenado em 4 partes.• Percentis: Dividem o conjunto ordenado em 100 partes.

10 / 33



Distribuição de frequências:• Associa os valores possíveis da variável analisada aos seus

respectivos números de ocorrências no conjunto de dados.• É usualmente representada como tabela ou como histograma.• Por exemplo, considerando o seguinte conjunto de dados:

2,33 2,54 1,45 2,11 2,41 2,33 2,05 2,27 2,67 1,87Classe Frequência Densidade

1, 45 x 1, 69 1 0, 11, 69 x 1, 94 1 0, 11, 94 x 2, 18 2 0, 22, 18 x 2, 43 4 0, 42, 43 x 2, 67 2 0, 2

11 / 33


Probabilidade

12 / 33


Probabilidade

Aleatoriedade:• Muitos fenômenos estão sujeitos a aleatoriedade.• Antes da observação não se pode definir seu comportamento.• Seus resultados estão portanto sujeitos a incerteza intrínseca.• Exemplos: lançamentos de dado, volume d’água em um rio.

Espaço amostral (Ω):• Conjunto de todos os possíveis resultados do fenômeno.• Exemplo: para o lançamento de um dado Ω !1, 2, 3, 4, 5, 6".

Evento (A Ω):• Subconjunto de resultados possíveis para o fenômeno analisado.• Exemplo: A !6", ou seja, obter face 6 em lançamento de dado.

Probabilidade:• Mensuração da chance de ocorrência de eventos aleatórios.• Indica como poderão ocorrer os fatos sob aleatoriedade.• Exemplo: P#A$ 1

6 para um dado perfeito, sendo que:• P A! " 0 indica que o evento A nunca ocorre.• P A! " 0, 75 indica que A ocorre em # 75% das observações.• P A! " 1 indica que o evento A ocorre em todas as observações.

13 / 33


Probabilidade

Variável aleatória:• É uma função com valores numéricos sujeita a aleatoriedade,

ou seja, cujo valor é determinado por fatores de chance.• Exemplo: X nível da água em um ponto fixo de um rio.

Distribuição de probabilidade:• É uma função que mapeia os possíveis valores de uma variável

aleatória às suas respectivas probabilidades de ocorrência.• Para valores quantitativos contínuos é dada por uma função de

densidade de probabilidade, cuja integral é igual a 1.

14 / 33


Modelos Probabilísticos

15 / 33



Modelos Probabilísticos:

• Quando observados um grande número de vezes, fenômenosaleatórios podem apresentar certos padrões de frequência.

• Alguns desses padrões podem ser modelados matematicamenteatravés do ajuste de funções de densidade de probabilidade.

• Tais modelos permitem então inferências com respeito aocomportamento esperado para a população de resultados dofenômeno – quando o tamanho da amostra “tende ao infinito”.

• Exemplos: Uniforme, Normal (Gaussiano), t de Student, Binomial,Poisson, Beta, Gama, Pareto, Weibull, Gumbel, Fréchet, etc..

• Cada modelo ou família de modelos atende a um (ou mais)propósito(s) específico(s), devendo ser utilizados com cautelae, especialmente, com atenção à base teórica específica.

16 / 33



Ajuste de modelos (fitting):• Ajusta uma distribuição de probabilidades a uma de frequências.• Consiste em estimar parâmetros de um modelo com base na

amostra, permitindo estimar o comportamento do fenômeno.• Cada modelo possui um ou mais métodos específicos de ajuste,

variando de cálculos simples a custosas abordagens iterativas.• Exemplo: para o modelo Normal os parâmetros µ e σ podem ser

estimados pela média e desvio padrão (sem ajuste) da amostra.• As estimativas podem ser valores ou intervalos de confiança.

Exemplo: µ 1, 5! 0, 25 com confiança de 95%.

Validação de modelos ajustados:• Modelos probabilísticos precisam ser subjetidos a testes de ajuste

adequados, evidenciando assim sua real aderência aos dados.• Para essa finalidade utiliza-se, por exemplo:

• Gráficos de comparação de quantis.• Gráficos de comparação de probabilidades.• Testes de hipótese de ajuste.

17 / 33



Validação de modelos ajustados: Gráfico de comparação de quantis:

• Ordena-se crescentemente a amostra x1, x2, . . . , xn.• Plota-se n pontos "F 1

"

in!1 #, xi# onde F 1 é a função de

quantis da distribuição ajustada ao conjunto de dados. Gráfico de comparação de probabilidades:

• Ordena-se crescentemente a amostra x1, x2, . . . , xn.• Plota-se n pontos "F "xi#,

in!1 # onde F é a função de

distribuição cumulativa do modelo ajustado à amostra.

• Para ambos os gráficos:• Bom ajuste é evidenciado quando os pontos estão próximos

e distribuídos aleatoriamente em torno da linha y x .• Discrepâncias sistemáticas significativas indicam mau ajuste, e

nesse caso o modelo não deve ser utilizado para inferência.• Geralmente nas caudas da distribuição observa-se pior ajuste, pois

nelas as distâncias entre os quantis são maiores do que no centro.

18 / 33



Frequências Probabilidades:

• Certas características nos dados podem acontecer inteiramentepor acaso, devido à aleatoriedade do fenômeno analisado.

• Esse fato pode levar a observação de amostras a criar falsascrenças ou descrenças com relação ao seu comportamento.

• Por exemplo, centenas de lançamentos de moedas podemresultar em proporções de caras e coroas diferentes de $ 0, 5.

• Probabilidades são intrínsecas ao fenômeno, e sua determinaçãoanalítica prova-se extremamente complexa em diversos casos.

• Porém, as densidades (frequências médias) se aproximamdas probabilidades associadas conforme a amostra cresce.

• Portanto, quando ajusta-se um modelo probabilístico assume-seque a amostra coletada é representativa e tem tamanho suficientepara evidenciar as probabilidades através de frequências.

• Essa suposição torna críticos:• Processo de amostragem: Deve garantir representatividade.• Tamanho da amostra: Precisa ser suficiente.

19 / 33



Exemplo 1:

1 Obtemos 104 tempos de execução de uma tarefa.

2 Geramos então histogramas para o conjunto de dados:Histograma de frequências

Valor

Fre

quência

46000 46200 46400

050

100

150

200

250

300 Histograma de densidades

Valor

Densid

ade

46000 46200 46400

0.0

00

0.0

02

0.0

04

0.0

06

3 Observamos uma distribuição de frequências aproximadamentesimétrica em relação ao centro de massa, em formato de sino.

4 Decidimos então por ajustar um modelo probabilístico Normal aoconjunto de dados, a fim de inferir características populacionais.

20 / 33



Exemplo 1:5 Utilizamos o método Maximum Likelihood Estimation (MLE) para

ajustar (estimar os parâmetros) do modelo probabilístico Normal:

µ 1n

ni 1 xi σ

!

1n

ni 1 !xi " µ#2

6 Obtemos então que os parâmetros estimados são:µ 46280, 67 σ 70, 12

7 Comparamos o modelo Normal ajustado (função de densidade dadistribuição) ao histograma de densidades do conjunto de dados:

Modelo normal ajustado

Valor

Densid

ade

46000 46200 46400

0.0

00

0.0

02

0.0

04

0.0

06

21 / 33



Exemplo 1:

8 Criamos gráficos de comparação de quantis e de probabilidades:

−4 −2 0 2 446000

46200

46400

Comparação de quantis

Quantis do modelo

Quantis d

a a

mostr

a

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

Comparação de probabilidades

Probabilidades do modelo

Pro

babili

dades d

a a

mostr

a

9 Observamos em ambos os gráficos a ausência de discrepânciassistemáticas significantes entre os dados amostrais e o modelo.

10 Portanto, o modelo Normal pode a princípio ser utilizado pararealizar inferências com relação ao comportamento do fenômeno.

22 / 33



Exemplo 2:

1 Obtemos 104 tempos de execução de uma tarefa.

2 Geramos então histogramas para o conjunto de dados:Histograma de frequências

Valor

Fre

quência

24950 25050 25150 25250

050

100

150

200

250

300

Histograma de densidades

Valor

Densid

ade

24950 25050 25150 25250

0.0

00

0.0

02

0.0

04

0.0

06

3 Observamos uma distribuição de frequências assimétrica emrelação ao centro de massa, diferente do modelo Normal.

4 Apesar da ausência de semelhanças, decidimos por forçar oajuste de um modelo probabilístico Normal à amostra.

23 / 33



Exemplo 2:5 Utilizamos novamente o MLE para ajustar o modelo Normal:

µ 1n

ni 1 xi σ

!

1n

ni 1 !xi " µ#2

6 Obtemos então que os parâmetros estimados são:µ 25086, 55 σ 59, 01

7 Comparamos o modelo Normal ajustado ao histograma dedensidades do conjunto de dados, evidenciando mau ajuste:


Valor

Densid

ade

24950 25050 25150 25250

0.0

00

0.0

02

0.0

04

0.0

06

24 / 33



Exemplo 2:

8 Criamos gráficos de comparação de quantis e de probabilidades:

−4 −2 0 2 4

24950

25050

25150

25250

Comparação de quantis

Quantis do modelo

Quantis d

a a

mostr

a

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

Comparação de probabilidades

Probabilidades do modelo

Pro

babili

dades d

a a

mostr

a

9 Observamos então claramente a existência de discrepânciassistemáticas significantes entre os dados amostrais e o modelo.

10 Portanto, o modelo Normal não pode ser utilizado para realizarinferências com relação ao comportamento do fenômeno.

25 / 33


Testes de Hipóteses

26 / 33



Testes de Hipóteses:• Têm por objetivo avaliar se existem evidências para refutar uma

determinada hipótese sobre o fenômeno com base na amostra.• Ou seja, com base em uma amostra, avaliam a admissibilidade

de uma conjectura sobre o comportamento da população.• Avaliam a possibilidade de um determinado comportamento

ser observado unicamente devido à aleatoriedade (por acaso).• Baseiam-se em duas hipóteses:

• Hipótese nula (H0): É a hipótese testada, sendo então consideradaverdadeira a menos que hajam evidências estatísticas em contrário.

• Hipótese alternativa (H1): É a hipótese contrária a H0, aceita se esomente se houverem evidências suficientes para a rejeição de H0.

• Geralmente funcionam com base no cálculo de estatísticas deteste cujo comportamento está associado à hipótese testada.

• Exemplo: Lança-se uma moeda 100 vezes e obtém-se apenas 20caras. A moeda é viciada ou isso pode ter ocorrido por acaso?

• H0: A moeda não é viciada.• H1: A moeda é viciada.

27 / 33



Testes de Hipóteses:

• Os resultados desses testes são dados em valores p associadosà probabilidade da amostra apresentar as características que defato apresenta se H0 realmente se sustenta quanto ao fenômeno.

• Ou seja:• Valores p “altos” ( 0) levam a crer que a amostra não apresenta

evidências estatísticas de que H0 deve ser considerada falsa.• Valores p “baixos” (! 0) indicam que existem evidências estatísticas

na amostra para refutar H0 com relação ao fenômeno observado.

• A decisão por refutar ou não H0 é geralmente tomada com baseno nível de significância α, sendo geralmente 0, 01 α 0, 05:

• Se p " α rejeita-se H0 e aceita-se H1.• Se p # α aceita-se H0.

• O nível de significância limita a probabilidade de rejeitar H0

quando essa for verdadeira, com nível de confiança γ ! 1" α.• É fundamental ressaltar, porém, que valores p muito altos ou

muito baixos podem ser produzidos inteiramente por acaso [2].28 / 33



Testes de Hipóteses:Exemplo: Aplicação do teste Cramér–von Mises [3]:

• O teste Cramér–von Mises verifica a hipótese nula (H0) de queuma amostra segue a função de distribuição de probabilidades Ft .

• A estatística do teste é calculada com base no critério deCramér–von Mises, e é dada pela seguinte expressão:

T nω2 n Fe x Ft x 2 dFt x

• Onde n é o tamanho da amostra, Fe é distribuição empírica(observada na amostra), e Ft é a distribuição teórica testada.

• O valor p do teste é obtido a partir da distribuição dessaestatística, levando em conta o tamanho da amostra.

• A rejeição de H0 indica que existem evidências de que aamostra avaliada não adere à distribuição teórica testada.

29 / 33




• Consideremos (novamente) as amostras já apresentadas,sobre as quais o modelo probabilístico Normal foi ajustado.

• Aplica-se o teste Cramér–von Mises sobre ambas, a fim deverificar se os dados aderem ao modelo a elas ajustado.


Valor

Densid

ade

46000 46200 46400

0.0

00

0.0

02

0.0

04

0.0

06

Amostra A


Valor

Densid

ade

24950 25050 25150 25250

0.0

00

0.0

02

0.0

04

0.0

06

Amostra B30 / 33




• Obtém-se os seguintes resultados:Modelo normal ajustado

Valor

Densid

ade

46000 46200 46400

0.0

00

0.0

02

0.0

04

0.0

06

Amostra Aω

2 0, 077267p 0, 7078


Valor

Densid

ade

24950 25050 25150 25250

0.0

00

0.0

02

0.0

04

0.0

06

Amostra Bω

2 5, 198p 1, 027 10 10

• Considerando α 0, 05, conclui-se que:• Amostra A: Como p α, aceita-se H0 e não aceita-se H1. Os dados

não fornecem evidência estatística suficiente para que se afirme, a5% de significância, que a amostra não adere à distribuição Normal.

• Amostra B: Como p α, rejeita-se H0 e aceita-se H1. Os dadosfornecem evidência estatística suficiente para que se afirme, a 5%de significância, que a amostra não adere à distribuição Normal.

31 / 33


32 / 33


Referências I

P. A. Barbetta, A. C. Bornia, and M. M. Reis,Estatística para cursos de Engenharia e Informática, 3rd ed. Atlas,2010.

G. Marsaglia and W. W. Tsang, “Some Difficult-to-pass Tests ofRandomness,” Journal of Statistical Software, vol. 7, pp. 1–9, 2002.

H. Cramér, “On the composition of elementary errors,” ScandinavianActuarial Journal, vol. 1928, pp. 13–74, 1928.

Documents

Introdução à Estatística Análise Exploratória de Dados ...romulosilvadeoliveira.eng.br/discipli/cad-tr2/tve-aula-1.pdf · Informática e Estatística (INE) da Universidade Federal