MODELOS PROBABILÍSTICOS EM SEGURANÇA VIÁRIAsites.poli.usp.br/d/ptr5802/ModProb.pdf · 1 MODELOS PROBABILÍSTICOS EM SEGURANÇA VIÁRIA Hugo Pietrantonio Junho/2009 OBJETIVOS DA

1

MODELOS PROBABILÍSTICOS

EM SEGURANÇA VIÁRIA

Hugo Pietrantonio

Junho/2009

OBJETIVOS DA

APRESENTAÇÃO• Apresentar conceitos relevantes para entender e utilizar

Modelos Probabilísticos aplicados à Segurança Viária

• Discutir formas alternativas e as técnicas usuais para

representar e utilizar Modelos Probabilísticos

• Conceitos Envolvidos: Modelos Probabilísticos

– Eventos Aleatórios, Regularidade Estocástica,

– Solução: Distribuição X Média, Analítica X Simulação, ...

– Mod.Estatísticos Simples, Usuais (Univariado/Multi)

– Mod.Derivados, Métodos de Aproximação dos Momentos

– Mod.Condicionais (Estat&Econ), Independência Condicional

– Função Regressão e Cedástica, Transformações de Variável

2

MODELOS PROBABILÍSTICOS

• Contexto: fenômenos que exibem padrões de

regularidade de oportunidade ou de chance ...

• Chance: ocorrência com incerteza intrínseca !

• Regularidade Estocástica: um padrão de

probabilidade distinto da aleatoriedade total !

• Desordem na ocorrência dos eventos individuais

Ordem nos padrões de ocorrência dos eventos

• Propriedades estocásticas: distribuição,

(in)dependência, homo/heterogeneidade, …

Exemplo: Spanos (1999)

• Soma dos lançamentos de dois dados: 2 a 12

por chance: 2=1+1 ... 12=6+6

7=1+6, 2+5, 3+4, ...

3

Outro Exemplo: Spanos (1999)

• Flutuações das Taxas de Câmbio: Canadá74/92

dados não experimentais, não controlados ...

modelos de probabilidade a priori indefinidos

Incerteza/Aleatoriedade ...

• Visão Convencional: a aleatoriedade é

intrínseca aos fenômenos; o mesmo

“experimento” repetido diversas vezes exibe

“respostas” diferentes; pode-se obter apenas o

padrão de regularidade nas ocorrências.

• Visão Alternativa: mecanismos determinísticos

governam os fenômenos; a informação limitada

disponível torna incerta a “resposta”; pode-se

obter o padrão de regularidade das ocorrências.

4

Perspectiva Científica ...

• Dedutiva (Modelo) X Indutiva (Dados) ...

• Três distintas tarefas da investigação causal:

– Definir hipóteses teóricas (precisa de uma teoria

“científica”, objetiva, testável, suficiente ...)

– Formular um modelo identificável (precisa de uma

estrutura e dados capazes de revelar o modelo ...)

– Analisar os dados existentes (precisa de um método

estatístico apropriado de estimação e inferência ...)

• Heckman (QJE 2000) X Dawid (JASA 2000)

Perspectiva Científica ...

• Com a perspectiva da observação externa do

fenômeno ... e de um modelo teórico ...

– mesmo as relações identificadas/supostas podem ter

forma parcialmente observada ...

Q: especificação imperfeita, relação omitida ...

– mesmo as relações identificadas/supostas podem ter

interações parcialmente observadas ...

Q: variáveis omitidas, variações inexistentes,

variações correlacionadas, variáveis latentes ...

• Erros tb normalmente geram um fator aleatório!

5

Fontes de Incerteza/Aleatoriedade

• Indefinido ... Imprevissível .. Indeterminado ...

Ambíguo ... Vago ... Mutante ... Irregular ...

Arbitrário ... Aleatório ... Variável ... Arriscado

• Uma Tipologia das Fontes de Incerteza:

- Incerteza Aleatória/Risco: padrão de

aleatoriedade é conhecido mas não pode ser

reduzido diretamente ... probabilidade ...

- Incerteza Epistêmica/Ignorância: padrão de

aleatoriedade não é conhedido mas pode ser

reduzido ... possibilidade ...

Incerteza: Aleatoriedade+Ignorância

• Não há uma terminologia amplamente aceita ...

• Aleatoriedade/Risco: realização não pode ser

prevista mas caráter aleatório é conhecido/pode

ser descrito (distribuição ... probabilidade)

• Incerteza/Ignorância: realização não pode ser

prevista e caráter aleatório não é conhecido/não

pode ser descrito (ignorância ... possibilidade)

• Em qualquer das situações, a realização não

pode ser prevista (aleatoriedade fundamental) ...

6

Teorias sobre Incerteza

• - Clássica/Frequentista/Kolmogoroviana:

probabilidade objetiva, máxima verossimilhança

- Bayesiana: probabilidade subjetiva,

conhecimento conjectural, incremental ...

• - Lógica de 2a.Ordem, Análise de Intervalos ...

Teoria da Evidência ...

- Probabilidade Imprecisa, Lógica Nebulosa

(Fuzzy-Z) ... Teoria da Possibilidade ...

• ver Kangas&Kangas (2004), FEP 6, pp.169-188

Teoria da Probabilidade Clássica

• Kolmogorov: frequentista, objetiva ...

probabilidade fixa, dada, mas desconhecida

• Axiomas Básicos: baseada na T.Conjuntos,

Álgebra Boreliana, Teoria da Medida ...

– AW e Af => Pr[f]=0<Pr[A]<Pr[W]=1

e aditividade: AB=f => Pr[AB]=Pr[A]+Pr[B] ...

– T.Probabilidade Total: P[A]=∑iP[A/Bi].P[Bi] ...

– T.Bayes: Pr[B/A]=Pr[A/B].Pr[B]/Pr[A] ...

• Princípio Inferencial: máxima verossimilhança !

7

Teoria da Probabilidade Bayesiana

• Bayesiana: incremental, subjetiva ...

Pr[] a priori & amostras => Pr[] a posteriori ...

• Teorema de Bayes revisitado: incremental ...

– Pr[q/y]=Pr[y/q].Pr[q]/Pr[y], Pr[y]= ∫Pr[y/q].Pr[q].dq

– Pr[q] e Pr[y]: conhecimento a priori (anterior)

– Pr[y/q]: verossimilhança das observações (novo)

– Pr[q/y]: conhecimento a posteriori (atualizado)

• Princípio Inferencial: de f[q/y] a posteriori ...

sem conhecimento a priori => verossimilhança!

8

Dados e Modelos

• Tipos de medidas:

– nominais (identifica casos distintos)

– ordinais (identifica sequência ordenada)

– intervalos (identifica medida relativa)

– razões (identifica zero da escala)

• Tipos de dados:

– transversais (cross-sections xk,t=)

– seriais (time-series xt, k= e <>)

– painéis (panel data xkt, k=s e t<>)

qualitativos,

categóricos e

discretosquantitativos,

discretos ou

contínuos

x: dado, informação

(contínuo, discreto)

k,t: índice, referência

(contínuo, discreto)

endógeno/exógeno

Moda

Mediana

Média

CVar ...

Referência

Posição

Ambos ...

Dados e Modelos

• Natureza dos Dados:

– Experimentais: processo controlado

– Observacionais: processo não controlado

• Tipos de Modelos:

– Determinísticos/Estocásticos ...

– Estatísticos: simples f[x/s]

condicionais f[y/x,c,s]

– Econométricos: f[y/e,x,c], f[e/s]

– Univariado, multivariado {yi}, processo {yt}

Efeito isolado

... ou não

Amostra {X}

... ou {X,Y}

Erro e Viés

endógenos ...

9

Informação Teórica

• Modelo Probabilístico (Estatístico, Estocástico):

-Informação Sistemática (conhecimento teórico)

-Regularidade Estocástica (padrão estatístico)

• Variáveis relacionadas: aleatórias ou não ...

-uma única variável aleatória: d.univariada ...

-condicionada a outras variáveis independentes

1: dependência simples; +:dependência múltipla

-variáveis interdependentes: d.multivariada ...

• Relações: aleatórias ou não/estruturais ou não ...

Tipos de Solução

• Qual resposta de um Modelo Probabilístico?

• Solução distribuição (closed-form distribution):

expressão analítica da distribuição ...

• Solução média/var. ... (closed-form moments):

expressão analítica da média/var, quantil ...

• Solução aproximada (FO, FOSM, AFO, SO, ...):

aproximação matemática da solução analítica ...

• Solução por simulação (simulation-based):

aproximação da solução obtida por simulação ...

10

Métodos Analíticos

• solução pode ser trabalhosa ... demais ...

baseada na Teoria de Probabilidades ...

f[A]=∫AI[A].dA, I[A]=1 se A ocorre (=0 c.c.) ...

• funções relacionadas podem ser mais tratáveis...

• exemplo: hazard function h[x]=f[x]/(1-F[x])

h[X=x]=f[X=x/X>=x] é o risco imediato ...

- fórmulas de inversão de h[x] são conhecidas!

f[x]=h[x]*exp[-∫xh[u].du],F[x]=1-exp[-∫xh[u].du]

- uma representação pode ser obtida da outra ...

Métodos Analíticos

• mais comum: uso de transformadas ...

é a estratégia de solução mais geral ...

• característica básica: as transformadas mantém

relação 1:1 com as distribuições ... e possuem

propriedades que simplificam a solução ...

• exemplo: logaritmo ao invés de potenciação

- melhor: z=xa.yb ou ln[z]=a.ln[x]+b.ln[y]?

- dada uma “tabela de logs” (relação 1:1 entre

N e ln[N] ...), pode-se usar a forma mais fácil ...

11

Geratrizes e Transformadas

• condensam as distribuições; univocamente <=>

– geratriz de momentos: G[q]=E[eq.X], G[0]=1, ...

G[q]=Sipi.eq.xi ou ∫xf[x].eq.x se existe, E[Xn]=nG[0]

– geradora Z: var.discreta g[z]=Si pi.zi, g[1]=Sipi=1

G[0]=g[1], z=eq.d, X=i.d, pi=1/i!.ig[z]|z=0=ig[0]/i!

– transformada de Laplace-Stieltjes: X*[q]=E[e-q.X],

nX*[q]=(-1)n.Sipi.eq.xi.xi

n ou (-1)n.∫xf[x].eq.x.xn ,

E[Xn]=(-1)n.nX*[0], (X não negativo X*[q]<=1)

– função característica: *X[s]=E[ei.s.X], q=r+i.s ... r=0

transformada de Fourier: ei.s.x=cos[s.x]+i.sen[s.x]

Exemplos Simples

• distribuição exponencial: f[T=t/a]=a.e-a.t, t>=0

– T*[q]=∫tf[t].e-q.t=∫ta.e-a.t.e-q.t=a.∫te

-(a+q).t=a/(a+q)

de forma similar, G[q]=a/(a-q) e *T[q]=a/(a-i.q)

então T´*[q]=-a/(a+q)2 e E[T]=-T´*[0]=1/a ...

• distribuição de Bernoulli: Pr[X=x/p]=px.q1-x, 0/1

– X*[q]=Skpk.e-q.k=q.e-q.0+p.e-q.1=q+p.e-q=q+p.z=g[z]

de forma similar, G[q]=q+p.eq e *X[q]=q+p.e-i.q

então X´*[q]=-p.e-q e E[X]=-X´*[0]=p ...

• Binomial: Y*[q]=(q+p.e-q)r, gY[z]=(q+p.z)r ...

• Erlang: T*[q]=(a/(a+q))r, G[q]=(a/(a-q))r...

12

Propriedades Importantes

• convolução: distribuição da soma, var.indep.

(X+Y)[q]=X[q].Y[q] ... (X+Y)*=X*.Y* ...

pode ser generalizado para SiXi, de N variáveis

• distribuição conjunta: var.não indep. (quaisquer)

(X,Y)*[qx,qy]=E[e-qx.X-qy.Y] conjunta ...

• Y: soma de Xi[p]~Bernoulli, iid (indep, p=)

Y=SiXi[p]=>Y*[q]=(q+p.e-q)n ... Binomial

• E: soma de Ti[a]~Exponencial, iid (indep, a=)

E=SiTi[a]=>E*[q]=(a/(a+q))n ... Erlang

Outras Propriedades de

Transformadas Usuais-I

• transformada de Laplace: dado f[x] ou dado {fi}

f*[q]=Sifi.e-q.xi=Sifi.z

i ou f*[q]=∫xf[x].e-q.x

é linear: f[x]=Siai.fi[x]=>f*[q]=Siai.fi*[q]!

– propriedades: dado f[t]<=>f*[q]=L[f[t],q] então

L[f[t/a],q]=a.L[f[t],a.q], L[f[t-a],q]=e-a.q.L[f[t],q],

L[t.f[t],q]=-1.L[f[t],q], L[f[t]/t,q]=∫qL[f[t],q],

L[f[t],q]=q.L[f[t],q], L[∫tf[t],q]=L[f[t],q]/q,

L[af[t,a],q]=aL[f[t,a],q], LX+Y[q]=LX[q].LY[q]– L[u0]=1, L[nu0=un-1]=qn, L[u-n=tn-1/(n-1)!]=1/qn,

L[u-1]=L[s0]=1/q, L[a.e-b.t]=a/(b+q), L[u-n.e-b.t]=1/(b+q)n+1 ...

• distribuições estatísticas: X~f[x], X*[q]=f*[q]

Apêndice I, vol.I, em

Kleinbrock, 1975 ...

13

Outras Propriedades de

Transformadas Usuais-II

• geradora: g[z]=Sifi.zi, z=eq, fi=pi, Sipi=1

– propriedades: dado {fi}<=>g[z]=g[{fi},zi] então

L[f[t/a],q]=a.L[f[t],a.q], L[f[t-a],q]=e-a.q.L[f[t],q],

L[t.f[t],q]=-1.L[f[t],q], L[f[t]/t,q]=∫qL[f[t],q],

L[f[t],q]=q.L[f[t],q], L[∫tf[t],q]=L[f[t],q]/q,

L[af[t,a],q]=aL[f[t,a],q], LX+Y[q]=LX[q].LY[q]

– L[u0]=1, L[nu0=un-1]=qn, L[u-n=tn-1/(n-1)!]=1/qn,

L[u-1]=L[s0]=1/q, L[a.e-b.t]=a/(b+q), L[u-n.e-b.t]=1/(b+q)n+1 ...

• geratriz: G[q]=E[eq.X]=Sipi.eq.xi ou ∫xf[x].eq.x

– propriedades: similares à transformada L ...

• g.fatorial: F[q]=E[qX]=Sipi.qxi ou ∫xf[x].qx

– propriedades: xn=x.(x-1)...(x-n+1), E[Xn]=nF[1]

Apêndice I, vol.I, em

Kleinbrock, 1975 ...

Exemplo de Interesse

• Y=SiXi, com N Xis iid, mas N aleatório,

- se N e X indep e E[N], E[X] existem,

então tem-se E[Y]=E[N].E[X] !

- se V[N], V[X] tb existem

então V[Y]=E[N].V[X]+V[N].E[X] !

• N com transformada gN[z] qualquer ... então:

gY[z]=gN[gX[z]] ... se Xi e Y discreto ...

Y*[q]=gN[X*[q]] ... se Xi e Y contínuo ...

• ... simples aplicação da derivação em cadeia ...

14

Exemplo de Aplicação

• Atrasos para pedestres diante dos veículos:

- intervalos entre veículos H (seg.): fH[H=h] ...

- intervalos na chegada-lag L(seg.): fL[L=t] ...

sabe-se que fL[L=t]=(1-FH[H=t])/mH ...

exemplo: fH[H=h]=q.exp[-q.h],fL[H=h]=fH[H=h]

- aceitação de brechas entre veículos: AH[H=t]...

- aceitação de lags na chegada: AL[L=t] ...

exemplo: pA=0, se t<a; pA=1, caso contrário ...

pA=0, se t<a; pA=1-exp[-g.(t-a)], caso contrário!

• W: atraso dos pedestres ao cruzar um fluxo Q?


• Probabilidade de atravessar na chegada: W=0

- pedestre chega com lag t; atravessa com AL[t]

portanto, Pr[W=0]=pAL, pAL=∫LfL[t].AL[t].t ...

• Probabilidade de esperar t para atravessar: W=t

- pedestre não atravessa ao chegar, espera até o

instante t, e então atravessa no intervalo em t ...

• Portanto, Pr[W=t>0]=FE[W>=t,Q em t].pAH,

onde pAH=∫HfH[t].AH[t].t, similarmente a pAL!

• FE[W>=t,Q em t]=FE[t]=gL[t]+∫FE[t-t].gH[t].t,

gL[t]=fL[t].(1-AL[t]) e gH[t]=fH[t].(1-AH[t]) ...

15


• FE[t]=gL[t]+∫FE[t-t].gH[t].t ...

uma equação integral em FE[t] ...

• E*[q]=GL*[q]+E*[q].GH*[q] ...

E*[q]=GL*[q]/(1-GH*[q]) ... !

• Pr[W=t>0]=FE[W>=t,Q em t].pAH ...

W>0*[q]=pAH.E*[q]= ...

• Pr[W=t]=Pr[W=0].d[0]+Pr[W=t>0] ...

W*[q]=W=0*[q]+W>0*[q]=

= pAL+ pAH.GL*[q]/(1-GH*[q]) ...


• Momentos: E[W]=-W´*[0], E [W2]=W´´*[0], ...

• W*[q] = pAL+ pAH.GL*[q]/(1-GH*[q])

E[W] = pAH.GL´*[0]/(1-GH*[0])

- pAH.GL*[0]/(1-GH*[0])2.GH´*[0]

• GH*[0]=∫gH[t].t=∫fH[t].(1-AH[t]).t=1-pAH !

• GL*[0]=∫gL[t].t=∫fL[t].(1-AL[t]).t=1-pAL !

• GH´*[0]=∫t.gH[t].t=∫fH[t].(1-AH[t]).t ...

• GL´*[0]=∫t.gL[t].t=∫fL[t].(1-AL[t]).t ...

• E[W] = E[GL*] - (1 - pAL)/pAH.E[GH*] !?!

16


• Exemplo: Q poissoniano, P aceita brecha >a

- fH[H=h]=q.e-q.h,fL[H=h]=fH[H=h] ...

- pA=0, se t<a; pA=1, caso contrário ...

• E[W] = E[GL] - (1 - pAL)/pAH.E[GH] leva a:

– pAH=pAL=∫H>aq.e-q.t.t=e-q.a ...

– E[GH]=E[GL]=∫H<at.q. e-q.t.t=1/q-(a+1/q)*e-q.a ...

E[W]=1/q-(a+1/q)*e-q.a-(1-e-q.a)/e-q.a.(1/q-(a+1/q)*e-q.a)

tendo-se E[W]=eq.a/q-a-1/q (Fórmula Adams, 1936)

• Exemplo: brecha=6seg., fluxo 900v/h=0,25v/seg

– E[W]=exp[0,25.6]/0,25-6-1/0,25=17,9-6-4=7,9seg !

17

Métodos de Simulação

• Solução em geral viável mas análise complexa ...

• Aplicação direta: para solução do modelo ...

... variáveis de entrada, relações fundamentais ...

... replicações de simulações ...

... “média” da média, da variância, da distribuição ...

• Aplicação inversa: para estimação, otimização

... solução do modelo e sensibilidade da solução ...

... modelo de simulação é componente ...

... imerso em um processo iterativo global ...

Métodos de Simulação:

Distribuições Univariadas-I

• X: dada uma variável aleatória uniformemente distribuída U, X=F-1[U] tem distribuição F[X]

– Uniforme padronizada: U, pseudo-aleatórioMS-Excel/97: r´=mod[9821.r+0,211327;1], dado r inicialMatlab4: LCM r´=mod[16807.r+65539;232], dado r inicial

– Exponencial: F[t]=1-exp[-a.t]=u=>t=-1/a.ln[1-u] ou -1/a.ln[u],

– Normal padronizada: Z; Box&Muller: Z1,Z2 dados U1,U2Z1=(-2.ln[U1])

1/2.sen[2.p.U2]; Z2=(-2.ln[U1])1/2.cos[2.p.U2]

Normal[m,s]: X=m+Z.s; Lognormal: Y=exp[X]; ...

• distribuições truncadas: a,F[a] ... b,F[b] ... outros casos: censuradas ... restrições ...

– f[x] difícil: obter X de um g[x] conveniente (mesmo domínio)obter Û uniforme e aceitar com p=f[x]/(c.g[x]) (com f[x]<c.g[x])

– restrições difíceis: obter Û uniforme e obter X=F-1[U] ...se (restrição=ok) aceitar senão rejeitar (pode ser ineficiente ...)

18


Distribuições Multivariadas-I

• Simulação de variáveis independentes, dado F:

P[{Xk}]=PkPr[Xk] ou f[{Xk}]=Pkf[Xk] (tb F)

• variáveis dependentes: Pr[X,Y]=Pr[Y/X].Pr[X]

exige o conhecimento das distr.condicionais ...

Pr[{Xi}]=Pr[XI/X1, X2, ..., XI-1]. ... .Pr[X2/X1].Pr[X1]– caso particular: distribuição normal multivariada pode ser obtida por

uma transformação linear X=L.Z+M, Z iid (L: Choleski ...)

– nos demais casos, decomposição é normalmente muito trabalhosa ...

• método alternativo: obter {Xk} dos Pr[Xi/{Xk\i}] ...

{Xk} de Pr[{Xk}] mas sem ter ou conhecer Pr[{Xk}]! – podem ser generalizados para muitas variáveis ...

– amostragem de Gibbs ou Metropolis-Hastings ...


Distribuições Multivariadas-II

• amostragem de Gibbs: usa as distribuições condicionais– iteração de f[e1/e2] e f[e2/e1] converge para f[e1,e2], qq ponto inicial

(generalizado para múltiplas variáveis com Pr[ei/ei-1] até Pr[e1/eI] ...)

– Casella&George (1992) – TheAmStat, vol.46/no.3, pp.167-174 ...

• amostragem de Metropolis-Hastings: MCMC ou MC2

– de e0, iteração de êi=ei-1+D com perturbação D (e.g. D=Z~normal)

– se r>f[êi]/f[ei-1]>1 aceitar ei=êi senão aceitar ei-1=êi com p=r ou ei=ei-1

– i=i+1 e reiterar com novo ei-1 => {e} distribuição conjunta!

– Chib&Greenberg (1995) – TheAmStat, vol.49/no.4, pp.327-335 ...

Versões mais gerais (que a Random Walk Metropolis, acima):

- M-H Sampler: êi~q[e/ei-1], r>a com a=f[êi]/f[ei-1].q[ei-1 /e]/q[e/ei-1]

- M Sampler: êi~q[e/ei-1] simétrica, r>a com a=f[êi]/f[ei-1] ...

19


Técnicas Especiais-I

• Método de Monte Carlo: dada amostra aleatória n

– Simular evento e obter I[efeito]=0 ou 1 ... p=SiIi/n

• Variações diversas: Las Vegas, Quase-Monte Carlo ...

• Amostragem por Importância: eventos raros

amostrar com distribuição g, G (não f, F ...)

– X=Y.f[Y]/g[Y] c/Y=G-1[U] tem distribuição F– pode-se amostrar com qq g,G e reescalar p/f,F

qualquer h[{X}] com f,F ~ h[{Y}].f[{Y}]/g[{Y}] com g,G

– Exemplo: proporção de caminhões nos acidentes > no tráfego p

amostra de simulação pode usar uma proporção q de caminhões maior

mas cada evento é simulado e seu efeito é escalado por p/q ...

• Obtém tb distribuição ... Precisão por re-amostragem!


Técnicas Especiais-II

• Técnicas de redução de variância (da solução):

criar correlações negativas em cada caso id ...

– antitético: para cada m+e, usar m+/-e ...

ou rotações ortogonais m+t.e de m+e ...

– sistemático: para ê<1/n, usar i/n+ê, para i<n ...

(procedimento de quadratura randomizado)– sequências de Halton: em ]0,1[ definido por um no.primo k em ciclo

ex: ciclo 3=1/3, 2/3, 1/9, 4/9, 7/9, 2/9, 5/9, 8/9 ... de 0:+1/3,+1/9,+2/9, ...

com múltiplas variáveis: k1<>k2<>k3 ... mas mesmo no.pontos ...

randomizado: semente aleatória adicionada (mod 1 ...), se desejado ...

• Quando a simulação aleatória é um benefício?

• Pq não quadratura e sequências determinísticas?

20

Formulações Teóricas

• Modelo Estatístico Simples: univariado Pr[X=x]

bivariado Pr[X,Y], multivariado ... distr.geral

• Modelo Derivado: função determinística h[]

variável aleatória Y=h[X] ou Y=h[{X1,X2,...}]

• Modelo Condicional: Pr[Y/X] Pr[X,Y]/Pr[X]

múltiplo Pr[Y/{X1,X2,...}], {X}=var.exógenas

multivariado Pr[{Y}/{X}], {Y}=var.endógenas

– Estatístico: aleatoriedade=variação amostral ...

– Econométrico: processo de geração de dados ...

Aplicações

• Estimação: obtenção dos valores dos parâmetros

e das distribuições correspondentes ...

• Inferência: testes de hipótese sobre os valores

dos parâmetros e dos efeitos as variáveis ...

• Previsão: obtenção das melhores estimativas

para os valores esperados das variáveis ...

• Projeto: utilização da informação probabilística

(estimativas ou distribuições) para decisão ...

21

Modelos Probabilísticos Simples

• Ajuste direto de uma função probabilística

- univariada: f[x/s],s=parâmetros da distribuição

- multivariada: f[x,y/s...],distribuição conjunta ...

• Estimativa dos Parâmetros: métodos estatísticos

usuais (momentos, máxima verossimilhança ...)

– Análise dos Dados: exploratória/preliminar ...

– Testes de Aderência: Chi2, K-S, A-D, ...

– Análise dos Resíduos: adequação do modelo ...

• Variância residual, Significância dos parâmetros

Propriedades Gerais I

• Distribuição univariada: Pr[X=x] ou f[X=x]

– V[X]=E[(X-E[X])2]=E[X2]-(E[X])2

– E[(X-c)2]=V[X]+(E[X]-c)2 (mínimo para c=E[X])

– Z=a+b.(X-c)=>E[Z]=a+b.(E[X]-c) e V[Z]=b2.V[X]

– Y=g[X], com X~N[m,s2], Y~N[g[m],(g’[m])2.s2]

• Previsão ótima: Q[X]=c

– Mín E[(X-c)2]=>melhor previsor c é a média

– Mín E[| X-c |]=>melhor previsor c é a mediana

– Máx Pr[X=c]=>melhor previsor c é a moda

22

Exemplo:

• Obter média e variância de T´=c.T e T”=T+d,

para T com distribuição exponencial ou normal:

– E[T´]=c.E[T], V[T´]=c2.V[T] qq distribuição ...

E[T”]=E[T]+d, V[T”]=V[T] qq distribuição ...

– Função exponencial: f[T=t]=q.exp[-q.t], t>=0 ...

tem parâmetro de escala b=1/q, f[T=t]=1/b.exp[-t/b]

portanto, T´=c.T tb é exponencial, com escala c.b ...

– Função normal: f[T=t]=(2.p)-1/2/s.exp[((x-m)/s)2] ...

tem parâmetro de deslocamento (m) e de escala (s)

T´=c.T é normal (m,c.s), T”=T+d é normal (m+d,s)

Modelos Probabilísticos Simples –

Especificação ...

• transformação de variáveis:

– variáveis deslocadas: Y=X+c, distribuição é a mesma apenas se distribuição tem parâmetro de posição, mas sempre E[Y]=E[X]+c, V[Y]=V[X]

– variáveis escaladas: Y=c.X, distribuição é a mesma apenas se distribuição tem parâmetro de escala, mas sempre E[Y]=c.E[X], V[Y]=c2.V[X]

• transformação de distribuições:

– variáveis truncadas: f[Y/Y>c]=f[Y]/Pr[Y>c]

– variáveis censuradas: f[Y], Y>c, ou Y=0 ou c ...

– misturada: f=Siai.fi; composta: f[x]=fmofx[x/m]

23


Univariado, Discreto: Binomial

• K~Bi[p,n]: probabilidade de K=k ocorrências em n

tentativas de probabilidade elementar p (T=n-K, q=1-p)

– Pr[K=k/p,n]=n!/(n-k)!/k!.pk.(1-p)(n-k), k=0, 1, ... N

E[K]=p.n, V[K]=n.p.(1-p)<E[K] sub-dispersão– Bi[p,1]=Bernoulli Be[p], E[K]=p,V[K]=p.(1-p)

– Xi=Be[p], mesmo p, Y=Si(Xi)=Bi[p,n], Y1+Y2


Univariado, Discreto: Geométrica

• K~Ge[p]: probabilidade K=k sucessos, k=0,1,... (ou

N=n tentativas, N=K+1, n=1,...) até falha (p=Pr.falha)

– Pr[K=k/p]=p.(1-p)k, E[K]=(1-p)/p, V[K]=(1-p)/p2

– Pr[N=n/p]=p.(1-p)(n-1), E[N]=1/p, V[N]=(1-p)/p2

– Acumulada analítica: Pr[N<n]=1-(1-p)n , Pr[K<k]=1-(1-p)k-1

– sem memória: Pr[K=k/p,k>k*]=Pr[K=k-k*/p]

– Pode-se usar q=(1-p) ao invés de p (q=Pr.sucesso)

24


Univariado, Contínuo: Exponencial• Exponencial: tempo até a falha, taxa de falha r

– Exp[T=t/r]=r.e-rt, t>0, E[t]=1/r, V[t]=1/r2 (c.v.=1),– sem memória:

Exp[T=t/r,T>t*]Exp[T=t-t*/r]

– deslocada:

Expc[T=t/r,c]=r.e-r*(t-c), t>c

E[t]=c+1/r, V[t] =1/r2 (c.v.<1)

T-c é Exp (T não)

– T: soma de k estágios iid com duração exponencial Exp[r]

distribuição de Erlang Er[T=t/r,k]=rk.tk-1.e-r.t/(k-1)!,

E[T]=k/r, V[T]=k/r2, Exp[t/r]=Er[1,r]

– hipo-exponencial (cv<1): soma de estágios id com r diferente

2 estágios Ho[T=t/r1,r2]=r1.r2/(r2-r1).(e-r1.t-e-r2.t)

– hiper-exponencial (cv>1): processos id alternativos (não sequenciais)

2 processos: He[T=t/]=a1.e-r1.t+a2.e

-r2.t com a1+a2=1


Univariado, Contínuo: Gamma• Gamma: generalização importante ...

– Gm[M=m/a,b]=ba.ma-1.e-b.m/G[a], m>0

E[M]=a/b,V[M]=a/b2, Exp[r]=Gm[1,r]– G1~Gm[a1,b],G2=Gm[a2,b], G1+G2~Gm[a1+a2,b]

– Erlang a=inteiro, G[a]=(a-1)!; Chi2[n]~Gm[1/2,n/2]

– Percentis de Gm[a,b] nas Tabelas da Chi2: k=2.a, 2.b.M=C

25


Univariado, Discreto: Poisson

• Poisson: K~Po[m]: probabilidade de K=k eventos,

dado a média m=r.T (taxa r, período T)

– Po[K=k/m]=e-m*mk/k!, k=0,1,2,...

E[K]=m, V[K]=m, =E[K], equi-dispersão !?!• K~Bi[p,n] com m=p.n=cte e n grande, então K~Po[m]

• Binomial Y=Si(Bi) com N~Po[m], então Y~Po[m.p]

• K~Po[m], intervalo entre eventos H~Exp[m] e E[H]=1/m

• Eventos raros, ocorrências independentes:

r=cte, m=r.T, Pr[K=1/r.dt]~r.dt, Pr[K=+1/r.dt]~0

• se r=r[t], K~Po[R], com R=St(r[t]) em T ...

• K~Po[r], Z=K+cte não é Poisson! Z~gPo[r,c], K=Z-c~Po[r]

• K1~Po[r1] e K2~Po[r2], K=K1+K2~Po[r1+r2]

se e somente se K1 e K2 são independentes ...

• Percentis de Po[m] nas Tabelas da Chi2: ...


Univariado, Discreto: Pascal• Pascal (negativa binomial): probabilidade de K=k

sucessos até r falhas, k=0,1,... (ou N=n tentativas, N=r+K, n=r,r+1, ...), p=prob.falha (q=1-p, de sucesso )

– NB[K=k/p,r]=(r+k-1)!/(r-1)!/k!.pr.(1-p)k eE[K]=r.(1-p)/p, V[K]=r.(1-p)/p2 >E[K], ou

– NB[N=n/p,r]=(n-1)!/(n-r)!/(r-1)!.pr.(1-p)n-r e, E[N]=r/p,V[N]=r.(1-p)/p2 >E[N], sobre-dispersão

– Gerada por K~Po[M], com M=m~Gamma[a,b] onde p=1/(1+b), n=a da distribuição de m

– K=K1+K2+...Kr, Ki~Ge[p], sucessos entre as falhas i-1 e i;

– se K1~NB[p,r1], K2~NB[p,r2] independentes K1+K2~NB[p,r1+r2]

– K~NB[p,r], K+cte não é NB ! Z~gNB[p,r,c], K=Z-c~NB[p,r]

– pode ser generalizada para r não inteiroonde (r+k-1)!/(r-1)!=G[r+k]/G[r], dado que G[k]=(k-1)!, k inteiro

– ...

26


Univariado, Contínuo: Normal

• Normal: para soma de efeitos independentes

– N[m,s]: f[X=x]=1/(2p)1/2/s.exp[-1/2.((x-m)/s)2]; simétrica

E[X]=m;V[X]=s2; F[x]=Pr[X<x] não tem forma analítica ...

– forma padrão: Z=(X-m)/s; E[Z]=0, V[Z]=1 ... simétrica

– tabelas: f[z]=1/(2p)1/2.exp[-z2/2]; f[z]=f[-z]; F[z]=1-F[-z]; z>0

– aproximação: F[-z]~1/(2p)1/2/z.exp[-z2/2]; z>0; F[0]=1/2

– X1~N[m1,s1];X2~N[m2,s2]; X1+X2~N[m;s] da soma (qq r12)


Univariado, Contínuo: Log-Normal

• Lognormal: produto de efeitos independentes

– Y~LN[my,sy] se X=lnY~N[mx,sx]; Y>0; assimétrica

E[Y]=my,V[Y]=sy2; sy

2=ln[1+nx2];my=ln[mx]-sy

2/2

– inversão: mx=exp[my+sy2/2];sx

2=mx2.(exp[sy

2]-1)]

– Y1~LN[m1,s1];Y2~LN[m2;s2]; Y1.Y2~LN[m,s] ...

– Y~LN[m,s], Y+cte não é LN ! Z~LN[m,s,c], K=Z-c

27


Univariado, Contínuo: Chi2, F, T• Chi2[k]: soma dos quadrados de k termos normais

padronizados (Chi2=Si(Zi)2)

– f[c/k]=1/2*(c/2)k/2-1.exp[-c/2]/G[k/2], C>0 ... Gm[k/2,1/2] E[C]=k, V[C]=2.k, k=número de graus de liberdade de C

– Soma de k termos quadráticos Z, Z~N[0,1] independentes

– Distribuição da variância amostral (com k=n-1)

• F-Snedecor: se C1~Chi2[k1], C2~Chi2[k2] independentes, R=(C1/k1)/(C2/k2)~F[k1,k2]– f[R/k1,k2]=c[k1,k2].rn/2-1/(k2+k1.r)k1/2+k2/2, E[R]=k2/(k2-2), ...

onde cte[k1,k2]=G[k1/2+k2/2]/G[k1/2]/G[k2/2].k1k1/2.k2

k2/2

– Percentis de Bi[p,n] nas Tabelas F: ...

• T-Student: se Z~N[0,1] e C~Chi2[k] independentes, T2=Z2/(C/k), T~T[k], E[T]=0, V[T]=k/(k-2) ...

– Distribuição da razão média/variância estimada da média;

– T[k] tende para Z com k grande (>20 ou 30...)


Univariado, Contínuo: Extremos

• Weibul: tipo III para Y=mín{Xi}, i=1, ... n, X>d

– se os n Xi são iid, n suficientemente grande, x>d, com

Fi[X]=K.(x-d)k, K>0, k>0 então F[Y]=1-e[-(y-d)k/(c-d)k]

E[Y]=d+(c-d)*G(1+1/k),V[Y]=(c-d)2(G[1+2/k]-G2[1+1/k])– para máximos com X<d: F[Y/a,b]=e[-(d-y)k/(d-c)k],

E[Y]=... , V[Y]=... (pouco usada)

– em geral, d=0;

em particular W[Y/d=0,k=1,c]=Exp[c]

– para variáveis de valor mínimo,

se YI é tipo I, então

YIII com FZIII[z/k,c]=FZI[ln[x-d]/a,b] é tipo III

com a=k e b=ln[c-d]

28


Univariado, Contínuo: Gumbel, ...

• Gumbel: tipo I para Y=máx{Xi}, i=1, ... n, X qq

– se os n Xi são iid, n suficientemente grande, com

Fi[X]=1-e-g[x], para g qualquer, então F[Y/a,b]=e[-e-a.(y-b)]

E[Y]=b+g/a, g=0,577 (cte de Euler), V[Y]=p2/(6.a2)

– para mínimos: F[y/a,b]=1-e[-e-a.(b-y)], E[Y]=b-g/a, V[Y]=p2/(6.a2)

– Frechet: tipo II, Fi[X]=1-A.x-k, positivo ... pouco utilizada ...


Univariado, Contínuo: Logística

• Logística: limitada no intervalo [0,1] ...

– Z em [0,1]: p[Z<z/a,b]=ea.(z-b)/(1+ea.(z-b))=1/(1+e-a.(z-b)), a>0

E[Z]=b, V[Z]=p2/(3.a2), p[z]=a.e-a.(z-b)/(1+e-a.(z-b))2

– se Y1 e Y2 são Gu[a,b] iid então Z=Y1-Y2~Lo[3/p2,0] ...

– boa aproximação da Normal com mesma média e variância

29


Univariado, Contínuo: Beta

• Beta: Be[X/a,b], X limitada no intervalo [a,b] ...

– Z em [0,1]: f[Z/r,s]=B[r,s].(z)r-1.(1-z)s-1, r>0, s>0,

B[r,s]=G[r+s]/(G[r].G[s]), F[Z/r,s]=I[z,r,s] I=B incompleta,

E[Z]=r/(r+s), V[Z]=r.s/(r+s)2/(r+s+1),– X em [a,b]: f[X/r,s]=B[r,s].(x-a)r-1.(b-x)s-1/(b-a)r+s-1,

X=(b-a).Z+a, E[X]=(b-a).E[Z]+a, V[Z]=(b-a)2.V[X]

– uniforme se r=1, s=1, unimodal se r>1, s>1;

U se r<1, s<1, J se r>=1, s<1, J invertido se r<1, s>=1, ...

– n dados independentes de um Y em ordem crescente,

X=proporção entre yi e yn-j+1 é Be[r,s] em [0,1]

com r=n-i-j+1 e s=i+j

– X1~G[a1,b] e X2~G[a2,b] são independentes,

X1/(X1+X2)~Be[a1,a2]

– Z~Be[r=a,s=b] se e somente se (1-Z)~Be[r=b,s=a]


Univariado, Uniforme/Triangular

• Uniforme, Discreta: inteiros entre i e j, inclusive

– Pr[K]=1/(j-i+1), F[K]=(k-i+1)/(j-i+1), U~Be[1/2]E[K]=(i+j)/2, V[K]=((j-i+1)2-1)/12

• Uniforme, Contínua: U[a,b] dado intervalo [a,b]

– f[U]=1/(b-a), simétrica/uniforme, F[U]=(u-a)/(b-a)E[U]=(a+b)/2,V[X]=(b-a)2/12, base é a U[0,1]

• Triangular, Contínua: intervalo [a,b], pico em c

– f[X]=2/(b-a).(x-a)/(c-a) ou 2/(b-a).(b-x)/(b-c)F[X]=(x-a)2/(b-a)/(c-a) ou =1-(b-x)2/(b-a)/(b-c)E[X]=(a+b+c)/3,V[X]=(a2+b2+c2-a.b-a.c-b.c)/18

30

Estimativas Não Paramétricas

• como estimar f[] ou F[], sem um modelo dado?

• procedimentos usuais:

- obter função de distribuição F empírica (EDF):

com xi em ordem crescente Fi=F[xi]=i/n ...

- histograma de frequências fi em ]xi-1;xi] (Edf)

agregação dos dados e definição das classes ...

• qual o problema da EDF? flutuação fi implícito

• qual o problema da Edf? saltos na distribuição,

perda de informação, classes com zeros, ...

• Histogramas alisados podem estimar f melhor !

• Estimador nuclear de Rosenblatt-Purzen para f:

trocar 1[-1/2<(xi-x)/h<1/2] por K[u], ui=(xi-x)/h

tal que K[] seja contínua e satisfaça ∫K[u].du=1

e fazer fi[x]=SiK[ui]/h/n, com largura de passo h

• K[]: função nuclear

(peso baseado em distância),

diversas formas usuais

• h variável, K adaptativo, K recursivo, ...

Estimativas Não Paramétricas

31

Distribuições Misturadas

• distribuição com combinação de K classes:

f[x]=Skpk.f[x/{qk}], parâmetros distintos

(ou f[x]=Skpk.fk[x], funções específicas !)

• deve-se estimar tb os parâmetros {pk}

(proporção da classe k), além dos {qk}

(ou parâmetros das funções específicas)

• as funções não-paramétricas nucleares podem

ser vistas como misturas saturadas

(número de classes=número de observações)

Estimação: Algoritmo EM

• EM (Experança&Maximização): para misturas

– dado o número de classes K, inicializar {pk} e {qk}

– Repetir até convergência: em cada iteração n fazer:– Estimar f[{xi}]=Skpk.f[{xi}/{qk}] para cada observação i;

– Determinar verossimilhança lki=pk.f[{xi}/{qk}]/f[{xi}] de (k,i);

– Atualizar pk=(Silki)/n (ou atribuir i à classe k* de maior lki de i );

– Atualizar cada qk com peso lki/pk (ou apenas i’s atribuídos a k).

• Pode-se testar diversos K’s e selecionar o

melhor ou usar algum procedimento automático

(mistura adaptativa: limite de distância=>classe)

32

Modelos Simples Multivariados

(simultâneos ou não)

• Distribuição conjunta de variáveis relacionadas:

Pr[{Xk}]=Pr[X1,X2,...] ou f[{Xk}]=f[X1,X2,...]

• Dependência/Independência probabilística:

distribuição condicional: P[A/B]=P[A,B]/P[B]

A_|_B: independência se P[A/B]=P[A], qq B=b

• Endogeneidade/Exogeneidade: modelo/escopo

Variáveis Endógenas, Dependentes ... internas

Variáveis Exógenas, Independentes ... externas

(explicativas, determinadas “externamente” ...)

Propriedades Gerais II

• Distribuição conjunta: Pr[X,Y] ou f[X,Y]

– C[X,Y]=E[X.Y]-E[X].E[Y]

– Z=a+b.(X-c)+d.(Y-e)=>

E[Z]=a+b.(E[X]-c)+d.(E[Y]-e),

V[Z]=b2.V[X]+d2.V[Y]+2.b.d.C[X,Y]

– Z1=a1+b1.(X-c1)+d1.(Y-e1),

Z2=a2+b2.(X-c2)+d2.(Y-e2)=>

C[Z1,Z2]=b1.b2.V[X]+d1.d2.V[Y]

+(b1.d2+b2.d1).C[X,Y]

– Y=g[X],{X}~N[m,S], {Y}~N[g[m],C.S.C’],C=g’[m]

33


´Bivariado´, Discreto: Multinomial

• Multinomial {ki} sucessos em n tentativas

– Pr[{ki}/{pi},n]=n!.Pi(piki/ki!), Siki=n

E[Ki]=n.pi, V[Ki]=n.pi.(1-pi), sub-dispersão

C[Ki,Kj]=-n.pi.pj, correlação negativa qq i,j

E[Kr/{kl<>i}]=pi.(n-Sl<>ikl)/(1-Sl<>ipl), linear ! – qualquer reagrupamento dos {ki}é multinomial

exemplo: kr=Si<ki e ks=Si>ki é binomial com pr=Si<pi

(distribuição truncada é multinomial tb ...)

– super-dispersão gerada por heterogeneidade dos {pi}...

• Bernoulli: uma tentativa, cada xi é binário {0,1}

– Pr[{xi}/{pi}]=Pipixi.(1-pi)

(1-xi), Sipi=1

E[xi]=pi, V[xi]=pi.(1-pi), C[xi,xj]=-pi.pj


´Bivariado´, Discreto: Pascal

• Negativa Multinomial: {ki} sucessos até r falhas

– Pr[{ki}/r,{pi}]=G(r+Siki)/G[r].Pi(Piki/ki!)./Q

r+Siki

com Q=1+SiPi, onde pi=Pi/Q para o evento i,

E[Ki]=r.(1-pi)/pi,V[Ki]=r/pi.(1-pi), sobre-dispersão

r2[Ki,Kj]=Pi/(1+Pi).Pj/(1+Pj), correlação positiva

E[Kr/{kl<>i}]=Pi.(r+Sl<>ikl)/(1+Sl<>iPl), linear !

– tb N=K+r, n=r+Siki tentativas (incluindo as r falhas)

– distribuição marginal dos Ki é NB[pi,ri], ri=r+Sl<>iE[Kl]

– distribuição condicional de {ks}, dado Si>skl=s, é NM[{ks}/r+s,{ps}]

34


Bivariado, Contínuo: Normal

• média e matriz de correlação qq: m1, m2, s12, s2

2, r12

(variância e correlação/covariância c12=r12.s1.s2)

– f[X1,X2]=f[Z1,Z2]/(s1.s2), com Z1,Z2 padronizadas

f[Z1,Z2]=1/(2p.(1-r2)1/2)/exp[-1/2. (z12+z2

2-2.r.z1.z2)]

F[Z1,Z2] tb não tem forma analítica, tb “simétrica” ...– {y1,y2}~N[m1,m2,s11,s22,s12] dependentes

{y2}~N[m2,s22], {y1}~N[m1/2=a0-a1/2*y2,s1/2]

a0=m1-a1/2.m2, a1/2=s12/s22, s1/2=s11-a1/2.s12

função regressão y1 por y2: E1[y1/y2]= r1[y2] é linear

função cedástica: V1[y1/y2]= c1[y2] é homocedástica

– s12=0 => {y1,y2} independentes ... (não é geral)

– ...


Bivariado, Contínuo: Exp

• Exponencial bivariada: exemplo de distribuição

multivariada com regressão não linear implícita

– f[x1,x2/a]=((1-a.x1).(1-a.x2)-a).exp(x1-x2-a.x1.x2)

(existem diversas variações; esta é a de Gumbel ...)– coeficiente de correlação é r12=∫Xexp[x]/(1+a.x)-1

– E[xi/xj=x]=(1+a+a.x)/(1-a.x)2, não linear em x ...

– V[xi/xj=x]=((1+a+a.x)2-2.a2) /(1-a.x)4, heterocedástica ...

– f[x1/a],f[x2/a], f[xi/xj ,a] são todas exponenciais univariadas

– E[x1]=E[x2]=a, V[x1]=V[x2]=a2 ... mas pode-se escalar x ...

35

Exemplo: Intervalo entre Veículos

(Luttinen, 1996 – Stat.Analysis of H)

• Número de chegadas N, período de tempo T

• intervalo H entre chegadas: média mH=T/N ...

• modelos de distribuição usuais:

- Exponencial E ou Exponencial deslocada D:

f[H=h]=q.exp[-q.h], P[H>h]=exp[-q.h], m=1/q

D=E+c, portanto m=1/q+c (variância igual ...)

- Cowan: mistura de distribuições (dicotômica)

M3: p em pelotão: H=c; q=1-p livre H=E+c ...

- Hiper-Exponencial, Schuhl/Branston ...


(Luttinen, 1996 – cont.)

• Análise Exploratória dos Dados:

- diversos procedimentos e diversos aspectos

(homogêneo, estacionário, ...

variáveis condicionantes...)

- estimativa não-paramétrica

usada como exploratória ...

- evita procedimentos

usuais mas discutíveis

(exemplo: “outliers” ...)

36



• Exponencial ou Exponencial deslocada:

• Gamma/Erlang, Log-normal, ...



• Cowan (M3, M4) ou Branston (~S-P):

• Hiper-exponencial, M/D/1, M/G/1, ...

37

Modelo Probabilístico Derivado

• Função determinística Y=h[X], X var.aleatória

• P[y]=SiI[y=h[xi]].Pr[xi], f[y]=∫I[y=h[x]].f[x].dx

se h é monotônica, f[y]=|h-1[y]|.f[x=h-1[y]]

• Univariada, múltipla: Y=h[{Xi}] =h[X1,X2,...]

P[y] com I[y=h[{xi}]] e f[y] com I[y=h[{x}]],

h monotônica, f[y]=∫|xh-1[y,z]|.f[x=h-1[y,z]].dz

• Multivariada: Y1=h1[{Xi}],Y2=h2[{Xi}] ... I[{}]

{Yk=hk[{ Xi}]}, i=1,...N , k=1,...K (K=1,2,... N)

f[{Yk}]=∫|kh-1|.f[{Xk=h-1] ... h-1[{Yk},{Xi>K}] ...

Modelo Derivado

• Aproximações:

desenvolvimento de Taylor ...

... de primeira ordem (FOM)

... de segunda ordem (SOM) ...

... misto, com mx e sx (FOSM) ... usual ...

ao redor do ponto

... mx ou zx=mx+z.vx

... x* conveniente (AFOSM) ... melhor ...

• precisão X simplicidade ...

38

Aproximação de Momentos-I

• Y=h[X]=>Y~h[mx]+h’[mx].(X-mx), mx=média

– E[Y]=my~h[mx] e V[Y]=s2y~(h’[mx])

2.s2x

aproximações de primeira ordem em mx

– Y~h[mx]+h’[mx].(X-mx)+1/2.h’’[mx]*(X-mx)2 ...

– E[Y]~ h[mx]+ 1/2*h’’[mx].s2x

– mas V[Y]~(h’[mx])2.s2

x ...

• em x*, genericamente: Y~h[x*]+h’[x*].(X-x*)

– E[Y]~ h[x*]+h’[x*].(mx-x*), V[Y]~(h’[x*])2.s2x

– Y~h[x*]+h’[x*].(X-x*)+1/2.h’’[x*].(X-x*)2 ...

– E[Y]~h[x*]+h’[x*].(mx-x*)+h’’[x*].(s2x+(mx-x*)2)

– mas V[Y]~(h’[x*])2.s2x ...

Aproximação de Momentos-II

• Y=h[{Xi}] ~h[{x*}]+Si(ih[{x*}].(Xi-x*i)) ...– ...+1/2.Sij(

2ijh[{x*}]*(Xi-x*i).(Xj-x*j))+...

– E[Y]~ h[{x*}]+Si(ih[{x*}].(mi-x*i)) ...– ... +1/2.Sij(

2ijh[{x*}]*(rij.si.sj+(mi-x*i).(mj-x*i))) ...

– V[Y]~Sij(ih[{x*}].jh[{x*}].rij.si.sj) ...– V[Y]~Si(ih[{x*}]2.s2

i) ... se {Xi} independentes

• {Yk=hk[{Xi}]}, dependência comum de {Xi} ...

– E[Yk]~ hk[{x*}]+Si(ihk[{x*}].(mi-x*i)) ...– ... +1/2.Sij(

2ijhk[{x*}].(rij.si.sj+(mi-x*i).(mj-x*i))) ...

– Skl[{x*}]=Sij(ihk[{x*}].jhl[{x*}].Sij) ... – Skl[{x*}]=Si(ihk[{x*}].ihl[{x*}].s2

i) , se {Xi} ind.

39

Exemplo: Acidente em Curva

• Condição de falha: derrapagem, tombamento, ...

• Derrapagem: V2/R>(f+e).g, h[V,R,f,e]<0

h[V,R,f,e]= (f+e).g-V2/R<0 determinística !!!

variáveis aleatórias: V ... f? ... R? ... e?

- projeto geométrico: R,e dados V,f

- projeto de pavimento: f dados R,e,V

- controle de velocidade: V dados R,e,f

• Tombamento: V2/R>(t/2/h+e).g, h’[V,R,h,t]<0

carga: {dxG,dyG}=m/(M+m).{xm-xG,ym-yG}

Exemplo: Acidente em Curva

- velocidade e aderência aleat.,ind.

• h[V,f/R,e]=(f+e).g-V2/R, com V*=mV e f*=mf

• Vh[{m}]=-2.mV/R, fh[{m}]=g,

2VVh[{m}]=-2/R, 2

ffh[{m}]=0,2fvh[{m}]=0

• E[h]~(mf+e).g-mV2/R ... FOM

... -2.mV/R.(V*-mV)=0 ... +g.(f*-mf)=0

=(mf+e).g-mV2/R-1/R.s2

V ... FOSM

• V[h]~4.mV2/R2.s2

V+g2.s2f ... FOM

• índ.confiabilidade: b=E[h]/(V[h])1/2 ... Pf~F[-b]

• melhor escolher V* e f* próximo da falha ...

40

Exemplo: Modelos de Projeto com

Restrições de Confiabilidade

• Aproximação útil em Modelos de Projeto

Máx W=B-C s.a Pf<Plim (por modo ou tipo)

• Exemplo: Projeto

Ótimo de Veículos

baseado em

confiabilidade

(RBDO-

Reliability-Based

Design Optimization)

...

Aplicação: Análise de Confiabilidade

• Falha: Z=R-S<0, variáveis ~ distribuição normal

margem mc=mR-mS; s2c= s2

R+s2S-2.rRS.sR.sS !

índice b=m/s; probabilidade de falha: Pf=F[-bc]

• Para reduzir o erro de aproximação:

– variáveis padronizadas Z (sem variação de escala)

– aproximação em x* melhor que em mx ...

– aproximação normal em x*: dados f* e F* em x*

m’=x*-s’.F-1[F*] e s’=f[F -1[F*]]/f*, f,F normais

• Ponto Mais Provável de Falha: x* => mín bc

41

Modelo Probabilístico Condicional

• Enfoque Descritivo X Estrutural:

– Enfoque Descritivo: ocorrência na população {Y,X}

– Enfoque Estrutural: relações estáveis/transferíveis

• Covariáveis: f[X,Y]=>Pr[Y/X]=> E[Y/X], {X}

relações relevantes, salvo se X,Y independentes

• Informação descritiva: variáveis, associações, ...

• Relações estruturais: relações de causa/efeito ...

estrutural=estável (deve estar presente sempre)

incidental=eventual (não tem causa relacionada)

Propriedades Gerais III

• Distribuição condicional: P[Y/X] ou f[Y/X]– EY[Y/X]=MY[X], VY[Y/X]=VY[X] para cada X=x em fY[Y/X=x]

– EX[X/Y]=MX[Y], VX[X/Y]=VX[Y] para cada Y=y em fX[X/Y=y]

– E[Y]=EX[EY[Y/X]]=EX[My[X]]

– V[Y]=VX[EY[Y/X]]+EX[VY[Y/X]]

=VX[MY[X]]+EX[VY[X]]

– Z=h[X,Y]=>E[Z]=EX[Z[X]]=EX[EY[Z/X]]

– EXY[X.Y]=EX[X.EY[Y/X]]=EX[X.MY[X]]

– C[X,MY[X]]=E[X.MY[X]]-E[X].E[MY[X]]=C[X,Y]

• Previsão: Mín E[(Y-c[X])2]=>c[X]=MY[X] ...

42

Decomposição Sequencial

• Sempre vale: f[1,2]=f[1/2].f[2], recursivamente

tb vale f[1,2,3,...]=f[1/2,3,...].f[2/3,...].f[3/...]

• Não trivialidade: f[1,2,3]=f[1/2,3].f[2,3] tb ...

• função regressão y1 por y2: E1[y1/y2]= r1[y2]

função cedástica: V1[y1/y2]= c1[y2], qual r[], c[]?

• r[] e c[] implicítas na relação multivariada

{y1,y2}~N[m1,m2,s11,s22,s12]: r[] linear ... c[] cte ...

{y2}~N[m2,s22], {y1}~N[m1/2=a0-a1/2.y2,s1/2]

a0=m1-a1/2.m2, a1/2=s12/s22, s1/2=s11-a1/2.s12

Independência Condicional

• 1_|_2/x: f[1,2/x]=f[1/x].f[2/x] ou f[1/2,x]=f[1/x]

• Markoviano: f[xt+1/xt,xt-1,xt-2,...]=f[xt+1/xt]

• Se {y1,y2} são independentes dado x, então

quaisquer h1[y1] e h2[y2] tb são (dado x)

• sem f[y/x]=f[y] tb pode ocorrer E[y/x]=E[y]

(1a.ordem) ou V[y/x]=V[y] (2a.ordem) ...

• {y1,y2,x}~N[m1,m2,mx,s11,s12,s1x,s22,s2x,sxx]

dependência de {y1,y2} pode ser induzida pela

dependência de x apenas (inversa de S: w12=0)

43

Dependência Estatística:

Essencial x Eventual

• Dependência essencial deve decorrer de

relações reais de causalidade direta ...

• Dependência eventual pode decorrer de relações

de contaminação (covariáveis comuns ...)

• Dependência estatística pode medir ambas!

Dependência estatística pode perder ambas!

• Decomposição sequencial: f[1,2]=f[1/2].f[2]

Iteração das médias: E12[y1]=E2[E1[y1/y2]]

E12[h[y1,y2]]=E2[E1[h[,]/y2]], qualquer h[,]

Confundimento

• Y=f[X1,X2,...], com X1,X2 correlacionadas

como distinguir o efeito de X1 ou X2 em Y?

• Se X1,X2 observados: existe método robusto?

- métodos de análise estatística usuais (MQ,ML)

- dados adequados: variação “transversal”

(ausência de multicolinearidade, ... grau ...)

• Se apenas X1 observado (ou X2 omitido): ...?

- métodos de análise usuais: resultados viesados

- erro=variáveis não observadas ... mesmo risco!

44

Mapa de Conhecimento

(Diagrama Causal ou de Influência)

• Variáveis e Dependência Direta

• Independência Condicional !!!

P[X5/X2,X3,X4]=P[X5/X4].P[X4/X2,X3]

X1 X2

X3

X4 X5confundimento

interdependência

dependência (direta)

Mapa de Conhecimento-II

• Relações

Sequenciais

• Relações ´substitui´ simultaneidade

Recursivas por defasagens sucessivas

X2

X3 X4 X5

X2

X3 X4

X2

X3 X4

Grafo Direcionado Acíclico

(DAG-Directed Acyclic Graph)

45

Redes Bayesianas ...

• Redes Bayesianas são a representação mais

usual dos mapas de conhecimento e existem

procedimentos bastante gerais de análise, pelo

menos para o caso de relações acíclicas (DAG)

• nós: representam as variáveis do problema ...

links: representam as relações entre variáveis,

no sentido da dependência condicional ...

• raciocínio estrutural: no sentido causa-efeito ...

raciocínio evidencial: no sentido efeito-causa !

BN: Exemplo Simples

(baseado em Neapolitan, 2004)

• estrutura sequencial: X, Y, W, Z var.binárias

X

Y

W

Z

conhecimento:

p[x1]=0,40

(p[x2]=1-p[x1])

p[y1/x1]=0,90

p[y1/x2]=0,80

p[w1/y1]=0,70

p[w1/y2]=0,40

p[z1/w1]=0,50

p[z1/w2]=0,60

inicialmente:

p[x1]=0,40

(p[x2]=0,60)

p[y1]=

=p[y1/x1].p[x1]+

+p[y1/x2].p[x2]

=0,84

(p[y2]=0,16)

p[w1]=0,652

(p[w2]=0,348)

p[z1]=0,5348

(p[z2]=0,4652)

X

Y

W

Z

se x1 observado

p[x1]=1,0

(p[x2]=0,0)

p[y1/x1]=0,90

(p[y2/x1]=0,10)

p[w1/x1]=

=p[w1/y1].p[y1/x1]+

+p[w1/y2].p[y2/x1]

=0,70.0,90+0,40.0,10

=0,652

(p[w2/x1]=0,348)

p[z1/x1]=

=0,50.0,70.0,90+

+0,50.0,40.0,10=0,734

(p[z2/x1]=0,266)

X

Y

W

Z

se y1 observado

p[x1/y1]=

=p[y1/x1].p[x1]/p[y1]=

0,90.0,40/0,84=0,4286

(p[x2/y1]=0,5714)

p[y1]=1,0

(p[y2]=0,0)

p[w1/y1]=0,70

(p[w2/y1]=0,30)

p[z1/y1]=

=0,5.0,7+0,6.0,3=0,53

(p[z2/y1]=0,47)

46

Propriedades Gerais IV

• Previsão: Mín E[(Y-c[X])2]=>c[X]=MY[X] ...

• Y=MY[X]+EY[X] sempre EY[X]~erro aleatório

sempre vale que M[EY[X]]=0 e M[EY]=0 se a função

MY[X] é corretamente especificada !

• se MY[X] é incorretamente

especificada pode-se

ter M[EY[X]]<>0

mesmo se M[EY]=0 ...

(Greene/2005: LS e

NLS com intercepto ...)

Especificação

• Hipóteses funcionais (h[]): relação condicional

• Hipóteses probabilísticas (f[]): Distribuição-D,

dependência-M, heterogeneidade-H

• modelo linear, erro aditivo: h[Y/X]=q.X+E ...

modelo não-linear, erro aditivo: h[]=g[X,q]+E

modelo não-linear geral: h[X,q,E]

• erros IID: independência/homogeneidade f[E] ...

erros ID: independência mas fi[] ou f[qi]

erros correlacionados entre observações f[{Ei}]

47

Transformação Linear

– Formas Funcionais

• Especificação Log-Log, Log-Lin ou Lin-Log:

Y=A.Xb=>ln[Y]=a+b.ln[X], a=ln[A] ... Log-Log

Y=A.eb.X=>ln[Y]=a+b.X, a=ln[A] ... Log-Lin

eY=A.Xb=>Y= a+b.ln[X], a=ln[A] ... Lin-Log



• Especificação Inv-Lin, Lin-Inv, Inv-Inv (ou Inv2):

1/(Y-c)=a+b.X, Y=a+b/(X-d), não linear em c,d

1/(Y-c)=a+b/(X-d) ou Y=c+1/(a+b/(X-d))

• Box-Cox: Y(c)=(Yc-1)/c, c<>0, ou ln[Y], c=0 ...

c=1, linear, =2 quadrática, =-1, inversa, ...

Y(c) =a+b.X(d), tb X(d) ..., não linear em c,d ...

48

• descontinuidade

de intercepto:

• descontinuidade

do coeficiente:





• Especificação com ponto ideal: Y=a.(X-c)2+d

Y=a.X2-2.a.c.X+a.c2+d=b0+b1.X+b2.X2, Xi=c

b0=a.c2+d , b1=-2.a.c , b2=a,

c=-(b1/b2)/2, d=b0-b2.(Xi)2

• Especificãções polinomiais: grau=no.zeros

(raizes podem ser reais ou complexas ...)

pontos extremos, pontos de inflexão ...

• Especificações periódicas: em ciclos

com amplitude fixa ou variável ...

com período fixo ou variável ...

49



• Box-Cox: Y(c)=(Yc-1)/c, c<>0, ou ln[Y], c=0 ...

c=1, linear, =2 quadrática, =-1, inversa, ...

equivale a Yc para c<>0 e ln[Y] para c=0 ...

• Pregodin: Yc=X.a+E, dado um valor inicial c0, usar

Yc~Yc0+(c-c0).Yc0.ln[Y]=>Yc0~Yc-(c-c0).Y

c0.ln[Y], ou

seja, Y’=X.a+Y”.o+E, com Y’=Yc0 e Y”=Yc0.ln[Y],

permite estimar ô=c-c0 e ajustar c=c0+ô (iterar até ô~0)

• Y(c) =a+b.X(d), tb X(d) ..., não linear em c,d ...

• Estimativa por ML ou variar c e selecionar c* (melhor)

• alternativas: Box-Tukey (), ...

Viés de Transformação de Variáveis

• valores esperados: E[f[x]]=0<>f[E[x]]=0

• diferenças de valores: mín |e-ê| <> mín |f[e]-f[ê]|

• exceto se f é linear, resultados serão diferentes

• tb se variável discreta é substituída por contínua

• pode-se usar correção de viés de transformação:– f[x]=exp[x]~ea.(1+(x-a)+(x-a)2/2+... (x-a)n/n!)

– f[x]=ln[x]~ln[a]+(x-a)/a-(x-a)2/(2.a2) ... (-1)n+1.(x-a)n/(n.an)

– f[x]=1/x~1/a-1/a2.(x-a)+1/a3.(x-a)2 ... (-1)n.(x-a)n/an+1

• correção d tal que mín |f[e+d]-f[ê+d]|~mín |e-ê| !

50

Referências Básicas:

• Trivedi/2001, cap.1a5 ... ou outra fonte usual

Benjamin&Cornell/1971, cap.2&3 …

... Transformadas: tb Kleinrock/1975,v.1/Ap.I

... Simulação: Law&Kelton/2000, cap.6, 8a11

• Modelos de Distribuição: Trivedi/2001,cap.2e3

... Johnson&Kotz, v.1,2,3, &Balakrishnan, v.4

• Modelos Derivados: Ang&Tang/1984,v.II/cap.6

... tb Haldar&Mahadevan/2000, cap.6a8 ...

Modelos Condicionais:

... assunto das próximas aulas ...

51

Dispositivos de Contenção Viária

Barreiras/Defensas/Atenuadores

• Critérios para instalação de barreiras e defensas

ou de atenuadores de impacto ...

ou (melhor) para áreas livres, áreas de escape ...

• Acidentes menos graves (+ ou - acidentes)

saídas de pista são eventos raros, aleatórios

choques ou quedas são acidentes raros ...

• Probabilidade de saída de pista e

... de aproximar um obstáculo na trajetória ...

... não deter veículo ... colidir a velocidade V ...

Formulação do RSAP

• Avaliação final: relação B/C (incremental)

B=-custo dos acidentes (C=+custo das ações)

• E[$A]=Q.P[E].P[A/E].Si{P[Ii/A].C[Ii]}

Q=fluxo de tráfego (VDMA*dias/ano);

P[E]=probabilidade de saída de pista

P[A/E]=probabilidade de acidente/saída de pista

P[Ii/A]=probabilidade de gravidade Ii/acidente

C[Ii]=custo do acidente de gravidade Ii

• B=(E[A]antes/sem)-(E[A]depois/com) proteção

52

Previsão de Acidentes em Saídas de

Pista - Modelo

• QE=Q.P[E] suposto proporcional ao fluxo ou

dado por curvas de ocorrência QE=f[Q] ...

P[E] é uma taxa de saídas de pista/veículo ...

• P[E]=PBE.F1.F2.F3*... PBE=f[Q] ... QE/Q

PBE=probabilidade/taxa básica de saída de pista

Fi=fator de ajuste (curvas, declives, ...) ... QEA

• P[A/E]=P[Er].P[A/Dr] ...+P[Re/A].P[As/Re]

P[Er]=probabilidade de saída próxima ao risco

P[A/Dr]=probabilidade de atingir Dr ... Acc.


Pista - Estimação

• Sequencial/Parcial ou Integral/Simultânea

• Observação direta de saídas de pista

(marcadores/sentinelas, filmagens/CCOs, ...)

• Problema: saídas controladas ou não ...

Muitos contextos distintos, período longo ...

• Análise dos registros dos acidentes de trânsito

(modelos complexos, muitas variáveis, ...)

• Problema: acidentes registrados ou não ...

Muitas variáveis não observadas, modelos ...

53


Pista - Resultados

• Curvas QE=f[Q]:

estudos anteriores

correção, atualização ...

• Fatores de ajuste: - curvas - declives - outros

estudos anteriores

linearização ...

• Previsão: Saídas de Pista com/sem Acidentes ...

GC=1750/R


Pista - Resultados

• Saídas de Pista Acidentes e Danos

e=1+ss/0,4

up: ss-(<0)

54

Características das Saídas de Pista

(distribuições empíricas)

• Velocidade

e Ângulo

de Saída:

correção

em curvas

+/- G/2

(G=grau

de curva

em 100m)

Características das Saídas de Pista

(distribuições empíricas)

• Extensão e

Orientação

do Veículo:

• Tipo de

Veículo:

dados de

campo tb.

e=1+ss/0,4

up: ss-(<0)

C.G.=centro de gravidade

altura: H, dist.frontal: A

55

Análise para Previsão de Choque

com o Obstáculo Lateral à Via

• Com características dos obstáculos (A, L, W, ...)

e do veículo (t, m, ...)/da saída (x, V, q, y, y, ...):

localização

uniforme,

dada a taxa

e os volumes

de tráfego

por faixa

e direção

Pr[Y>d]=1,2995.e-0,262.d

para pista simples ou via

sem canteiro

Pr[Y>d]=1,1747.e-0,161.d

para múltiplas faixas com

pista dupla

V=cte até impacto

(Vi=V, ângulo q)

Análise para Previsão da Severidade

do Choque

• Severidade

do Choque:

dada a

velocidade

e o obstáculo

• Gravidade

do Acidente

e Custo

do Acidente:

Severidade do impacto:

IS=1/2.m.(Vi.sen[q])2

e

Índice de Severidade

SI=f[IS e tipo de elemento]

(escala: 0 a 10)

IS limite: impacto múltiplo

56

Representação do Modelo

• Diagrama de Influência ... simples (acíclico ...)

Tráfego

Velocidade

Via

Dispositivo

F.Risco

Saídas

de PistaChoque Gravidade

Ac.VFatal

Ac.VGrave

Ac.VMédio

Ac.VLeve

Ac.s/Vítima

ÑAcidente

Erro na

Eq.Saídas

Erro na

Eq.Choque

Erro na

Eq.Grav.

Referências Básicas:

• NCHRP R462 … RSAP … (Roadside …)

• Roadside Design Guide/AASHTO … 1989

1996: basic procedure … software: Roadside …

2002: basic procedure … software: RSAP …

• Precursor: Guide for Selecting and Locating,1977

incorporado ao Yellow Book, 1997, da AASHTO

• NCHRP R350/R230: especificação de testes …

(EN 1317-1 a 6, … na Comunidade Européia …)

Documents

MODELOS PROBABILÍSTICOS EM SEGURANÇA VIÁRIAsites.poli.usp.br/d/ptr5802/ModProb.pdf · 1 MODELOS PROBABILÍSTICOS EM SEGURANÇA VIÁRIA Hugo Pietrantonio Junho/2009 OBJETIVOS DA