20
1. TESTES PARAMÉTRICOS I. COMPARAÇÕES DE PARÂMETROS DE DUAS POPULAÇÕES Comparação das variâncias de duas populações normais Suponha duas amostras aleatórias independentes de tamanhos n 1 e n 2 ou seja, e , respectivamente, de uma população com distribuição e de uma população com distribuição . Hipóteses: H 0 : = ( ou / = 1 ) H 1 : ( ou / 1 ) Estatística do teste: Sendo e as variâncias, respectivamente, das amostras n 1 e n 2 , o quociente segue a distribuição de F (Snedecor) com n 1 -1 e n 2 -1 graus de liberdade (gl) [F(n 1 -1, n 2 -1)]. Sob a suposição de H 0 ser verdadeira, isto é, = , tem-se que F Construção da região crítica:

BIOESTATISTICA

Embed Size (px)

Citation preview

Teste para a mdia de uma N ( ), desconhecida

1. TESTES PARAMTRICOS

I. COMPARAES DE PARMETROS DE DUAS POPULAESComparao das varincias de duas populaes normais

Suponha duas amostras aleatrias independentes de tamanhos n1 e n2 ou seja, e , respectivamente, de uma populao com distribuio e de uma populao com distribuio .

Hipteses:

H0 : = ( ou / = 1 )

H1 : ( ou / 1 )

Estatstica do teste:

Sendo e as varincias, respectivamente, das amostras n1 e n2, o quociente

segue a distribuio de F (Snedecor) com n1-1 e n2-1 graus de liberdade (gl) [F(n1-1, n2-1)].

Sob a suposio de H0 ser verdadeira, isto , = , tem-se que

F

Construo da regio crtica:

Fixado , os pontos crticos sero F1 e F2 da distribuio F, tais que :

Se = 10%, pode-se, utilizando a Tabela 5, encontrar diretamente F2(5%). Para encontrar F1(95%) utiliza-se a propriedade:

Por exemplo, se n1-1 = 5 e n2 -1 = 7,

Assim, RC = { 0 < F < 0,205 ou F > 3,97 }

Entretanto, o procedimento que se usa na prtica calcular F utilizando sempre a maior varincia no numerador (>), portanto F > 1, e considerar o ponto crtico .Amostra: Colhidas amostras aleatrias n1 e n2, calcula-se e (>), ento

Concluso: Se Fobs RC, rejeita-se H0, caso contrrio, no se rejeita.Exemplo 2. Os resultados da tabela abaixo so relativos s propriedades soporferas da hiosciamina (droga A) e hioscina (droga B). Dois grupos de 10 pacientes so aleatoriamente selecionados e cada grupo toma uma das drogas. Os resultados em horas extras de sono so:

A1,9 0,8 1,1 0,1 -0,1 4,4 5,5 1,6 4,6 3,4

B0,7 -1,6 -0,2 -1,2 -0,1 3,4 3,7 0,8 0,0 2,0

Testar H0 : = vs. H1: , ao nvel de significncia de 10%.

Soluo:

H0: = H1:

nA = nB = 10 = 10%

Fc (0,05; 9, 9) = 3,18 RC = F > 3,18

Como Fobs RC, no se rejeita H0, ou seja, as varincias so estatisticamente iguais ao nvel de 10%.A anlise da hiptese da igualdade de varincias crucial para o uso do teste t, na comparao de duas mdias, apresentado a seguir.2. COMPARAO DE DUAS MDIAS DE POPULAES NORMAIS: AMOSTRAS INDEPENDENTESCom o objetivo de se comparar duas populaes ou, sinonimamente, dois tratamentos, examinaremos a situao na qual os dados esto na forma de realizaes de amostras aleatrias de tamanhos n1 e n2, selecionadas, respectivamente, das populaes 1 e 2. Os dados so as medidas das respostas associadas com o seguinte delineamento experimental. Uma coleo de n1 + n2 elementos so aleatoriamente divididos em 2 grupos de tamanhos n1 e n2, onde cada membro do primeiro grupo recebe o tratamento 1 e do segundo, o tratamento 2. Especificamente, estaremos interessados em fazer inferncia sobre o parmetro:

(mdia da populao 1) (mdia da populao 2) = 1 2Formalmente, suponha uma amostra selecionada aleatoriamente de uma populao N(1,) e uma amostra selecionada de uma populao N(2,), n1 e n2 independentes. Para cada uma delas, teremos os respectivos estimadores da mdia e varincia: e

EMBED Microsoft Equation 3.0 e e . Hiptese: H0 : 1 2 ou 1 - 2 0

Definindo a varivel (), note-se que:

E () = E () E () = 1 2 e

Como as variveis so independentes, , ento

Portanto,

e, consequentemente, (1)tem distribuio N(0, 1).1 caso: varincias e conhecidas

Para testar a hiptese H0 usa-se a estatstica (1). Como H0 estabelece que

1 2 = 0,

Hipteses alternativas: Regies crticas (nvel ):H1 : 1 2 ou 1 - 2 0 Z > zc (/2) ou Z < -zc (/2)H1 : 1 > 2 ou 1 - 2 > 0 Z > zc ()H1 : 1 < 2 ou 1 - 2 < 0 Z < -zc ()2 caso: varincias desconhecidas e iguais

Preliminarmente, testa-se se as varincias das duas populaes so iguais. Caso a hiptese no seja rejeitada, isto , que = = , a estatstica (1) transforma-se em:

Substituindo por um estimador, teremos uma expresso muito semelhante t de Student. Uma estatstica para a mdia ponderada:

,

que, como so dois estimadores no viciados de , tambm um estimador no viciado de .

O desvio padro da diferena estimado por:

de modo que pode-se construir a estatstica

que tem distribuio t de Student, com n1 + n2 2 graus de liberdade.

Sob H0 verdadeira (12 0),

Hipteses alternativas: Regies crticas (nvel ): H1: 1 2 H1: 1 > 2

H1: 1 < 2

Nota: quando ambas as amostras (n1 e n2) so pequenas (n < 30), o teste pode ser usado supondo, alm da normalidade das distribuies das populaes originais, que suas varincias, , so iguais.

Exemplo 3. Usando os dados do exemplo 2, testar se h evidncia de que as duas drogas so igualmente eficientes (H0: A B vs. H1: A B), ao nvel de 5%.

Soluo:

H0: A B H1: A B

tc(18; 0,05) = 1,734 RC =t > 1,734

Como tobs RC, rejeita-se H0, ou seja, h evidncia de que a droga A mais eficiente do que a B como soporfero.3 caso: varincias desconhecidas e desiguais (Teste de Smith Satterthwaite)

Quando a hiptese de igualdade de varincias for rejeitada, deve-se substituir e em (1) pelos seus respectivos estimadores, e , obtendo a estatstica:

que, sob a veracidade de H0 (1 - 2 = 0), aproxima-se de uma distribuio t de Student, com nmero de graus de liberdade dado aproximadamente por:

Como o nmero de graus de liberdade assim calculado, geralmente, no inteiro, recomenda-se aproxim-lo para o inteiro imediatamente anterior a este.

Se n1 e n2 so ambos grandes ( n 30 ), o teste pode ser baseado na estatstica

sob H0,

pois (1) permanece vlido se e so substitudos por seus respectivos estimadores amostrais, e .

A escolha da regio de rejeio, mono ou bilateral, depende do tipo da hiptese alternativa.Nota: no caso da inferncia originada de amostras grandes, no necessrio assumir que as distribuies das populaes originais so normais, porque o teorema limite central garante que as mdias amostrais so aproximadamente distribudas como e , respectivamente. Alm disso, a suposio de varincias populacionais iguais , que usada para amostras pequenas, evitada nessa situao. Exemplo 4. Querendo comparar o ganho em peso de duas raas de bovinos, A e B, num mesmo regime alimentar, tomaram-se n = 35 animais da raa A e m = 40 animais da raa B. Os resultados obtidos foram:

Raa

s2

A70,581,6

B84,3200,5

Testar ao nvel de 5% , se o ganho em peso mdio das duas raas o mesmo, ou seja H0: A B vs. H1: A B.

Soluo:

H0: A B H1: A BnA = 35 nB = 40 = 5%

zc = 1,96

RC = z < -1,96 ou z >1,96

Como zobs RC, rejeita-se H0, ou seja, h evidncia que as duas raas tm ganhos em peso mdios diferentes , ao nvel de 5%.3. COMPARAO EMPARELHADA: AMOSTRAS RELACIONADAS (OU DEPENDENTES)Quando as mdias de duas populaes so comparadas, pode ocorrer uma diferena significativa entre elas por causa de fatores externos no controlveis, mesmo no havendo diferenas nos tratamentos avaliados. Reciprocamente, fatores externos podem mascarar ou ocultar uma diferena real. Uma maneira de contornar estes problemas coletar as observaes em pares, de modo que os dois elementos de cada par sejam homogneos em todos os sentidos (por exemplo, quanto ao sexo, a idade, semelhana gentica e de ambiente, etc.), exceto no que diz respeito aos tratamentos que se quer comparar. Assim, se houver uma diferena na resposta entre os dois grupos, esta pode ser atribuda a uma diferena nos tratamentos.

Tal planejamento chamado comparao emparelhada e consiste em formarem pares e sortear os tratamentos dentro de cada par.

Como na formulao geral de comparao de duas mdias, tm-se duas amostras e , s que agora as observaes esto emparelhadas, isto , a amostra formada pelos pares .

Se definirmos a varivel

Di = Xi Yi, i = 1, 2 ,... , n

teremos um conjunto de n observaes, cada uma das quais a diferena entre duas observaes originais.

Os pares de observaes (Xi Yi) so independentes, mas Xi e Yi dentro do i-simo par, so, geralmente, dependentes. Assim, se o emparelhamento das unidades experimentais for eficiente, espera-se Xi e Yi ser, ao mesmo tempo, pequenos ou grandes, ou seja, ter uma correlao positiva alta. Um modo de se detectar isto verificar se X e Y tem uma covarincia positiva. Como

a varincia da diferena ser menor neste caso do que seria no caso de variveis aleatrias independentes, onde Cov(X, Y) = 0.

Esse procedimento tambm usado quando as observaes das duas amostras so feitas no mesmo indivduo, por exemplo, medindo uma caracterstica do indivduo antes e depois dele ser submetido a um tratamento.

A estrutura das observaes em uma comparao emparelhada dada a seguir, onde X e Y denotam as respostas aos tratamentos 1 e 2, respectivamente. Tratamento

Par 1 2 Diferena (Di)1 X1 Y1 D1 X1 Y12 X2 Y2 D2 X2 Y2 n Xn Yn Dn Xn YnDefinida as diferenas Di = Xi Yi, i = 1, 2 ,... , n, razovel assumir que elas constituem uma amostra aleatria de uma populao com mdia = e varincia , onde representa a diferena mdia real dos efeitos de tratamento dentro de pares. De outro modo,E(Di) E(Xi Yi) eVar(Di) Var(Xi Yi) , i = 1, 2 ,... , n Se = 0, ento os dois tratamentos podem ser considerados equivalentes. Uma diferena positiva (D > 0) significa que o tratamento 1 tem uma resposta mdia maior do que a do tratamento 2.

A hiptese a ser testada : H0: 1 = 2 ou = 0.

Hipteses alternativas:

Supondo Di : N (,),

tem distribuio N (, /n )

Definindo , a estatstica

t tem distribuio t de Student, com n 1 graus de liberdade.

Como H0 estabelece que = 0, a frmula de t apresentada como

que a estatstica a ser usada no teste.

Quando n grande ( 30), a inferncia pode ser baseada na distribuio N(0, 1) ou equivalentemente na distribuio t com infinitos graus de liberdade (gl).

Note que h n pares de observaes e apenas n 1 gl. Se as observaes no forem emparelhadas, mas tratadas como dois grupos independentes, teremos (n 1) + (n 1) = 2(n 1) gl. A diminuio do nmero de gl resulta em um valor maior para , o que torna necessrio um maior valor para atingir o limite de significncia. Deste modo, se a formao de pares no for justificvel, o teste ser menos sensvel, ou seja, preferindo pares, corre-se o risco de alguma perda de poder, a qual resulta em um aumento na probabilidade de aceitar a hiptese nula quando falsa (). O aumento insignificante, todavia, se o nmero de pares grande, digamos, maior do que 10. O nvel de significncia () no afetado.

Com um emparelhamento eficaz, a reduo na varincia da diferena (X Y), geralmente, mais do que compensa a perda de graus de liberdade. Exemplo 5. Cinco operadores de certo tipo de equipamento laboratorial so treinados em equipamentos de duas marcas diferentes, A e B. Mediu-se o tempo que cada um deles gastou na realizao de uma mesma tarefa, e os resultados foram:

Operador

Marca12345

A8072657885

B7570607278

Ao nvel de 1%, poderamos afirmar que a tarefa realizada no equipamento A demora mais do que no B (A B)?

Soluo:

H0: A = B H1: A > BDi = 5, 2, 5, 6, 7 n = 5 = 1%

tc( 0,01; 4) = 3,747 RC = t > 3,74Como tobs RC, rejeita-se H0, ou seja, a tarefa realizada no equipamento A demora mais do que no B ao nvel de 1%.

4. COMPARAO DE DUAS PROPORES BINOMIAISVejamos agora como comparar as propores de incidncia de uma particular caracterstica em duas populaes. A estrutura da inferncia :Parmetro: p1 - p2 (proporo na populao 1 - proporo na populao 2) Propores amostrais: , onde X e Y correspondem aos nmeros de elementos que possuem a caracterstica nas amostras n1 e n2, selecionadas aleatoriamente, respectivamente, das populaes 1 e 2; n1 e n2 independentes.

Consideremos a estatstica , como ponto de partida, para fazer a inferncia sobre p1 p2. Como a mdia e a varincia das propores amostrais so:

e dado que so independentes, a mdia e a varincia da diferena so:

e

Logo,

O primeiro resultado [] mostra que um estimador no viciado de . Uma estimativa do desvio padro (DP) pode ser obtida substituindo p1 e p2 dentro da raiz por, respectivamente, . Alm disso, para n1 e n2 grandes, a estatstica tem distribuio aproximadamente normal, de modo que aproximadamente N(0, 1).

Para testar H0: p1 p2 ou p1 p2 = 0 denota-se por p a proporo populacional conjunta no especificada.

Sob H0 verdadeira, a estatstica aproximadamente distribuda como normal, com

e ,

O parmetro p estimado envolvendo as informaes das duas amostras, ou seja,

(estimativa conjunta)

Assim, considerando n1 e n2 grandes, a estatstica

aproximadamente N(0, 1).

Dependendo de H1, a regio crtica mono ou bi-caudal (regra de deciso) pode ser construda em termos da aproximao normal (Z).

Exemplo 6. Em um estudo sobre a incidncia de abortos naturais entre mdicas anestesistas (1) e de outras especialidades (2), obtiveram-se os seguintes resultados:

12Totais

Gestaes normais235275

Abortos naturais140620

Totais375895

Denotando as propores populacionais de abortos naturais em (1) e (2) por p1 e p2, respectivamente, testar Ho : p1 = p2 vs. H1 : p1 p2, ao nvel de 1%.

Soluo:

H0: p1 = p2 H1: p1 p2

= 1% zc = 2,57 RC = z >2,57 ou z p2, o teste 2 no apropriado.

2. TESTES NO - PARAMTRICOS

As tcnicas da Estatstica No-Paramtrica so, particularmente, adaptveis aos dados das cincias do comportamento. A aplicao dessas tcnicas no exige suposies quanto distribuio da varivel populacional. Os testes no-paramtricos so extremamente interessantes para anlises de dados qualitativos. Na Estatstica Paramtrica, para aplicao de teste como o t de Student, a varivel em anlise precisa ser numrica. Como o prprio nome sugere, a Estatstica No-Paramtrica independe dos parmetros populacionais e de suas respectivas estimativas.

Assim, se a varivel populacional analisada no segue uma distribuio normal e/ou as amostras forem pequenas, pode-se aplicar um teste No-Paramtrico.

Vantagens dos Mtodos No-Paramtricos

1. Os mtodos No-Paramtricos podem ser aplicados a uma ampla diversidade de situaes, porque no exigem populaes distribudas normalmente.

2. Ao contrrio dos mtodos Paramtricos, os mtodos No-Paramtricos podem freqentemente ser aplicados a dados no-numricos.

3. Os mtodos No-Paramtricos em geral envolvem clculos mais simples do que seus correspondentes Paramtricos, sendo, assim, mais fceis de entender.

Desvantagens dos Mtodos No-Paramtricos

1. Os mtodos No-Paramtricos tendem a perder informao, porque os dados numricos so freqentemente reduzidos a uma forma qualitativa.

2. Os testes No-Paramtricos no so to eficientes quanto os testes Paramtricos; assim, com um teste No-Paramtrico, em geral necessitamos de uma amostra maior ou maiores diferenas para ento rejeitarmos uma hiptese nula.

Testes No-Paramtricos para Amostras Independentes

2.1 TESTE DA MEDIANA O teste da mediana verifica a probabilidade de grupos independentes proverem de populaes com a mesma mediana. O teste da mediana particularmente til quando existem dados censurados.

Dados Censurados so aqueles que ficam alm dos limites estabelecidos para coleta, embora no se saiba exatamente quais so esses valores. Exs.:

- experimentos com animais onde alguma condio especfica demora a aparecer ou desaparecer. Se nada acontece a alguns animais at o final do experimento esses dados so censurados.

- tempo de sobrevivncia

- limite mnimo em aparelhos de medio

Para esse teste, a varivel em anlise tambm deve ser medida em escala ordinal ou numrica.

Procedimento

a) Formular as hipteses: a hiptese em teste a de que os grupos provm de populaes com a mesma mediana;

b) Juntar os k grupos em comparao em um s conjunto. Calcular a mediana de todos os dados;

c) Contar, em cada grupo, o nmero de dados que esto acima e o nmero de dados que esto abaixo da mediana geral. Arranjar as contagens em uma tabela 2 x k;

d) Aplique o teste de (2 para testar essa hiptese.

Ex. (Bioestat, pg. 108): Aps alta hospitalar, 12 indivduos de uma casa de sade (A) e 10 pessoas de outra entidade nosocomial (B) foram avaliados quanto aos cuidados de enfermagem dispensados a cada um nas respectivas instituies. O escore de auto-avaliao de cada paciente, numa escala de 0 a 100, est mostrado abaixo. Teste se h diferena na avaliao dos pacientes atendidos no Hospital A em relao queles atendidos no Hospital B. Use ( = 0,05.

Hospital A 80 94 92 707883908887908991

Hospital B 63 57 71 82706185667266

2.1 TESTE DE MANN-WHITNEY

usado para testar se duas amostras independentes foram retiradas de populaes com mdias iguais. Esse teste , portanto, uma alternativa para o teste t para amostras independentes quando a amostra for pequena e/ou as pressuposies, exigidas pelo teste t, estiverem seriamente comprometidas. A nica exigncia do teste de Mann-Whitney a de que as observaes sejam medidas em escala ordinal ou numrica.

Procedimentoa) Coloque os dados dos dois grupos em ordem crescente. s observaes empatadas atribuir a mdia dos postos correspondentes;

b) Considerar n1 = nmero de casos do grupo 1;

n2 = nmero de casos do grupo 2;

c) Calcular R1 = soma dos postos do grupo 1;

R2 = soma dos postos do grupo 2;

d) Calcular a estatstica de Mann-Whitney (U);

e) Escolher o menor valor de U para ser utilizado no clculo de z.

Exemplo (Bioestat, pg. 107): Foram medidos nveis de fosfatase sangnea em 12 pacientes acometidos de malria por P. vivax e em 10 parasitados pelo P. falciparum. Verifique, ao nvel de 5% de significncia, se os nveis de fosfatase diferem significativamente em relao espcie encontrada nos doentes.

P vivax 3,70 2,80 2,90 2,30 2,40 3,00 2,20 3,40 2,80 3,20 1,90 3,20

P. falciparum3,60 2,90 3,00 2,40 2,00 2,50 2,10 2,90 2,70 3,10

2.3 TESTE KRUSKAL-WALLISTrata-se de teste extremamente til para decidir se k amostras (k > 2) independentes provm de populaes com mdias iguais. Esse teste s deve ser aplicado se a amostra for pequena e/ou as pressuposies, exigidas para proceder Anlise de Varincia, estiverem seriamente comprometidas. Como o teste de Mann-Whitney, esse teste tambm condiciona que a varivel em anlise seja medida em escala ordinal ou numrica.

Procedimento

a) Dispor, em ordem crescente, as observaes de todos os k grupos, atribuindo-lhes postos de 1 a n. Caso haja empates, atribuir o posto mdio;

b) Determinar o valor da soma dos postos para cada um dos k grupos: Ri, i = 1, 2, ..., k;

c) Escolher uma varivel Qui-quadrado com ( = k 1 (cada amostra deve conter pelo menos 5 observaes);

d) Realizar o teste:

Obs.: Esse teste exige varincias iguais, por isso no deve ser usado se as diferentes amostras tm varincias muito diferentes.

O teste de Kruskal-Wallis um teste unilateral direita.

Ex.; Imagine que para comparar o tempo de latncia de trs anestsicos usados por cirurgies dentistas tenha sido feito um ensaio clnico casualizado com 15 pacientes. Os dados esto apresentados na tabela abaixo. Seja ( = 0,05.

Tempo de latncia, em segundos, de trs anestsicos locais usados em clnicas odontolgicas

Anestsico AAnestsico BAnestsico C

62

138

78

96

66108

216

174

234

27072

132

156

204

84

Obs.: Quando ocorrem muitos empates, no se deve utilizar a estatstica H. preciso aplicar uma correo na frmula. Os softwares fazem essa correo automaticamente. Assim, se mais de um tero dos dados est envolvido em empates, use um software de estatstica.

/2

/2

1-

_212181080.unknown

_218045104.unknown

_221398120.unknown

_228645784.unknown

_230594728.unknown

_1202729686.unknown

_1202729694.unknown

_1202729706.unknown

_1202729929.unknown

_1202729702.unknown

_1202729690.unknown

_231883792.unknown

_231908104.unknown

_230740232.unknown

_230853344.unknown

_229202888.unknown

_229229688.unknown

_229193720.unknown

_224473472.unknown

_224646728.unknown

_225278784.unknown

_226937568.unknown

_224667576.unknown

_224618896.unknown

_224546856.unknown

_221791184.unknown

_224451016.unknown

_224471536.unknown

_224453976.unknown

_222719608.unknown

_221400592.unknown

_221636152.unknown

_218409400.unknown

_220372384.unknown

_220401984.unknown

_220513432.unknown

_220683248.unknown

_220402736.unknown

_220396168.unknown

_219890184.unknown

_220132240.unknown

_220034440.unknown

_218736936.unknown

_219815152.unknown

_218722184.unknown

_218224872.unknown

_218310064.unknown

_218387120.unknown

_218107600.unknown

_218198160.unknown

_216437728.unknown

_217325864.unknown

_217814112.unknown

_217873072.unknown

_217590264.unknown

_217796696.unknown

_217580664.unknown

_217213168.unknown

_217273232.unknown

_216741824.unknown

_216713312.unknown

_213732568.unknown

_215682840.unknown

_216265432.unknown

_216277984.unknown

_215781496.unknown

_215815616.unknown

_215628272.unknown

_215670616.unknown

_215599008.unknown

_213477440.unknown

_213515960.unknown

_213683424.unknown

_212950272.unknown

_213365072.unknown

_212772680.unknown

_202707272.unknown

_207825664.unknown

_209310160.unknown

_210934544.unknown

_211395984.unknown

_211504944.unknown

_211372736.unknown

_211034544.unknown

_210028936.unknown

_210254536.unknown

_209329832.unknown

_207882560.unknown

_208357024.unknown

_208381744.unknown

_208399808.unknown

_208093160.unknown

_207831720.unknown

_205490152.unknown

_205678024.unknown

_205842320.unknown

_206460928.unknown

_205799384.unknown

_205602736.unknown

_205603640.unknown

_205586120.unknown

_205331096.unknown

_205467760.unknown

_205466864.unknown

_205287520.unknown

_202781216.unknown

_196509592.unknown

_197709216.unknown

_198410632.unknown

_199899112.unknown

_199993192.unknown

_202700328.unknown

_199985456.unknown

_199640280.unknown

_198161216.unknown

_198189232.unknown

_198066336.unknown

_197763400.unknown

_197163304.unknown

_197333512.unknown

_197531832.unknown

_197567920.unknown

_197319544.unknown

_196886648.unknown

_197127776.unknown

_191824040.unknown

_194595984.unknown

_195448408.unknown

_196360680.unknown

_196503464.unknown

_196363056.unknown

_195509280.unknown

_195545360.unknown

_195494368.unknown

_195278912.unknown

_195292408.unknown

_195322136.unknown

_194923744.unknown

_194935952.unknown

_194822808.unknown

_192723024.unknown

_193969352.unknown

_193971848.unknown

_192805808.unknown

_192581280.unknown

_184453344.unknown

_190817608.unknown

_191330656.unknown

_188954680.unknown

_190231848.unknown

_188979144.unknown

_188914152.unknown

_184442288.unknown

_184442720.unknown

_184289712.unknown

_184438856.unknown

_164057944.unknown