Introdu˘c~ao a probabilidade e a estat stica II - IME- patriota/MAE0229/Aula7-Testes-  ·

  • View
    214

  • Download
    0

Embed Size (px)

Text of Introdu˘c~ao a probabilidade e a estat stica II - IME- patriota/MAE0229/Aula7-Testes-  ·

  • Introducao a probabilidade e a estatstica II

    Nocoes de testes de hipoteses

    Prof. Alexandre G PatriotaSala: 298A

    Email: patriota@ime.usp.brSite: www.ime.usp.br/patriota

  • Testes de hipoteses

    Um dos interesses fundamentais da estatstica indutiva e testarhipoteses.

    Etapas:

    I formular duas hipoteses que temos o interesse em testar;

    I observar os dados experimentais relacionados com o problema;

    I utilizar um procedimento estatstico para tomadas de decisao.

    O problema de interesse deve ser escrito em termos matematicos(modelos estatsticos) para que seja possvel utilizar osprocedimentos estatsticos.

  • Exemplo de hipoteses de interesse

    Considere uma pessoa que esta sendo acusada de cometer umcrime.

    Existem duas hipoteses:

    I H0 : o suspeito nao e culpado

    I H1 : o suspeito e culpado

    Se houver evidencias de que o suspeito cometeu o crime, dizemosque ele e culpado (evidencia genetica, digitais na arma, etc).

    Se nao houver evidencias de que o suspeito cometeu o crime,dizemos que ele e inocente.

  • Erros na decisao

    I Por um lado, o suspeito pode ser inocente apesar dasevidencias incriminando-o.

    Se o suspeito nao cometeu o crime, e for consideradoculpado estamos cometendo um erro. (ERRO TIPO I)

    I Por outro lado, o suspeito pode ser culpado mesmo se naoencontrarmos evidencias incriminando-o.

    Se o suspeito cometeu o crime e for consideradoinocente estamos cometendo um erro. (ERRO TIPO II)

    Nao cometeu o crime Cometeu o crime

    julgado inocente ACERTO ERRO TIPO IIjulgado culpado ERRO TIPO I ACERTO

  • Outros exemplos de hipoteses de interesse

    1. H0 : O medicamento nao faz efeito;H1 : O medicamento faz efeito.

    2. H0 : O veneno nao faz efeito;H1 : O veneno faz efeito.

    3. H0 : A populacao nao esta obesa;H1 : A populacao esta obesa.

    4. H0 : A partcula de Higgs nao existe;H1 : A partcula de Higgs existe.

    Podemos cometer os mesmos erros de decisao nas hipoteses acima.

  • Testar a hipotese H0 usando estatstica:

    I Criamos um experimento que seja relacionado com oproblema de interesse,

    I Definimos o modelo estatstico (X ,P), ou seja, a variavelaleatoria de interesse X com sua funcao de densidade f (oufuncao de probabilidade para o caso discreto).

    I Coletamos a amostra que contem replicas da variavel aleatoriade interesse: X1, . . . ,Xn.

    I A hipotese H0 deve ser escrita em termos matematicos. Ouseja, alguma restricao sobre o espaco parametrico deve serimposta para representar a hipotese de interesse.

    I Criamos alguma regra de decisao para verificar a plausibilidadede H0.

  • Verificando se uma moeda e honesta

    Queremos avaliar se uma moeda e honesta. Ou seja,{H0 : A moeda e honestaH1 : A moeda nao e honesta

    Uma forma de reescrever essas hipoteses utilizando a linguagemestatstica e: seja X Ber() com sendo a probabilidade de saircara, entao {

    H0 : =12

    H1 : 6= 12 .

    Aqui estamos considerando que

    A moeda e honesta = 12

    .

    E possvel criar outra formulacao matematica para testar ashipoteses acima?

  • Caractersticas das hipoteses H0 e H1

    Caractersticas das hipoteses:

    1. As hipoteses H0 e H1 sao incompatveis, ou seja, H0 e H1 naopodem ocorrer ao mesmo tempo.

    2. As hipoteses originais H0 e H1 em geral sao exaustivas.Porem, nao existe uma unica forma de representa-lasmatematicamente.

    3. Em alguns casos nao faz sentido aceitar uma hipotese, masapenas rejeita-la. Exemplo: H0 todos os cisnes sao brancos.

    4. Em alguns casos faz pleno sentido aceitar uma hipotese.Exemplo: H0 : todos os cisnes do meu sitio sao brancos.

  • Tipos de decisoes sobre as hipoteses H0 e H1

    Quais tipos de decisao podemos tomar sobre as hipoteses deinteresse? (problema filosofico)

    Dependendo do tipo das hipoteses envolvidas:

    I Neyman e Pearson argumentaram que se o espaco depossibilidades for fechado, entao podemos aceitar ou rejeitarH0.

    I Fisher argumentou que so e possvel definir a hipotese deinteresse H0, pois o espaco de possibilidades e sempre aberto(desconhecido). Neste caso so faria sentido encontrarevidencias para rejeitar H0. As evidencias em favor de H0 naopodem ser usadas para aceitar H0.

  • Criterios para decidir qual hipotese escolher

    Consideraremos primeiramente a perspectiva de Neyman-Pearson.Podemos aceitar H0 ou rejeitar H0 e cometeremos os erros tipo I etipo II.

    Definimos a regiao crtica (RC ) como o conjunto de valoresobservaveis para os quais rejeitaremos a hipotese H0. RC

    c seria oconjunto de observaveis para os quais nao rejeitamos H0.

    Suponha que nossa famlia de medidas de probabilidade tem duasmedidas P = {P : {0, 1}}. Definimos

    H0 : = 0 contra H1 : = 1.

    Quais sao os erros?

  • Erros tipo I e tipo II para hipoteses simples

    Considerando as hipoteses

    H0 : = 0 contra H1 : = 1,

    temos que:

    Erro Tipo I: Rejeitar H0 quando ela e verdadeira. Definimos

    = P0(RC ocorrer),

    ou seja, e a probabilidade de cometer o erro tipo I.

    Erro Tipo II: Aceitar H0 quando ela e falsa. Definimos

    = P1(RC nao ocorrer),

    ou seja, e a probabilidade de cometer o erro tipo II.

  • Exemplo Lancamento de uma moeda

    Considere o modelo estatstico de Bernoulli para a moeda emquestao: (X ,P) com X = {0, 1}, P = {P0.5,P0.9}, comP0.5(X = 1) = 0.5 e P0.9(X = 1) = 0.9.{

    H0 : = 0.5H1 : = 0.9.

    Dizemos que as hipoteses sao simples.

    Considere 4 lancamentos independentes da moeda e denote porY = X1 + X2 + X3 + X4 o numero total de caras nesseslancamentos.

    Como poderamos definir uma regiao crtica (RC) da variavelobservavel Y para a rejeicao de H0?

  • Regiao crtica

    Podemos definir o conjunto de valores de Y que levam a rejeicaoda hipotese nula H0 por

    RC1 = {3, 4} RC c1 = {0, 1, 2},

    Outra forma seria:

    RC2 = {2, 3, 4} RC c2 = {0, 1}

  • Calcule os erros tipo I e II para cada RC

    As distribuicoes de Y sao dadas abaixo para cada valor de :

    y P0.5(Y = y) P0.9(Y = y)

    0 0.0625 0.00011 0.2500 0.00362 0.3750 0.04863 0.2500 0.29164 0.0625 0.6561

    Calcule as probabilidades dos erros tipo I e II para as seguintes RC:

    , {4}, {3, 4}, {2, 3, 4}, {1, 2, 3, 4} e {0, 1, 2, 3, 4}

  • Suponha que observamos y = 2 (o valor observado de Y ).

    I se RC1 = {3, 4} nao rejeitamos H0.

    I se RC2 = {2, 3, 4} rejeitamos H0.

    Note que temos duas conclusoes diferentes usando o mesmo dadoobservado. Qual a diferenca entre as duas decisoes?

    Quantas regioes crticas podemos criar? Quais criterios podemosutilizar para escolher a regiao crtica? (podemos escolher a RC queproduz o menor max{, } ou o menor + , retirando os casosem que sempre rejeitamos ou sempre aceitamos)

  • Hipoteses geraisSeja (X ,P) o modelo estatstico com P = {P : }.

    Considere as hipoteses {H0 : 0H1 : c0

    em que 0 e c0 = 0.

    O que significam estas hipoteses?

    Como definimos as probabilidades dos erros tipo I e II?

    Definimos a funcao poder do teste por

    () = P(RC )

    para todo .

  • Hipoteses geraisSeja (X ,P) o modelo estatstico com P = {P : }.

    Considere as hipoteses {H0 : 0H1 : c0

    em que 0 e c0 = 0.

    O que significam estas hipoteses?

    Como definimos as probabilidades dos erros tipo I e II?

    Definimos a funcao poder do teste por

    () = P(RC )

    para todo .

  • Hipoteses geraisSeja (X ,P) o modelo estatstico com P = {P : }.

    Considere as hipoteses {H0 : 0H1 : c0

    em que 0 e c0 = 0.

    O que significam estas hipoteses?

    Como definimos as probabilidades dos erros tipo I e II?

    Definimos a funcao poder do teste por

    () = P(RC )

    para todo .

  • Funcao Poder do teste caso simples

    Note que para o caso em que = {0, 1} e 0 = {0} ec0 = {1} temos

    (0) = P0(RC ) =

    e

    (1) = P1(RC ) = 1

    Ou seja, neste caso temos que (0) sera a probabilidade decometer o erro tipo I e 1 (1) sera a probabilidade de cometer oerro tipo II.

  • Funcao Poder do teste caso geral

    Para a hipoteses gerais, podemos definir probabilidades maximasde cometer os errors tipo I e II:{

    H0 : 0H1 : c0

    A probabilidade maxima de cometer o erro tipo I pode ser definidapor:

    max = sup0

    ()

    A probabilidade maxima de cometer o erro tipo II pode ser definidapor:

    max = supc0

    (1 ()) = 1 infc0

    ()

  • Exemplo Lancamento de uma moeda

    Considere o modelo estatstico de Bernoulli para a moeda emquestao: (X ,P) com X = {0, 1}, P = {P0.1,P0.3,P0.6P0.9}, comP(X = 1) = para {0.1, 0.3, 0.6, 0.9}.{

    H0 : {0.1, 0.3}H1 : {0.6, 0.9}.

    Considere 4 lancamentos independentes da moeda e denote porY = X1 + X2 + X3 + X4 o numero total de caras nesteslancamentos.

    Como poderamos definir uma regiao crtica (RC) da variavelobservavel Y para a rejeicao de H0?

  • Regiao crtica

    Podemos definir o conjunto de valores de Y que levam a rejeicaoda hipotese nula H0 por

    RC1 = {3, 4} RC c1 = {0, 1, 2},

    Outra forma seria:

    RC2 = {2, 3, 4} RC c2 = {0, 1}

  • Calcule a funcao poder para cada RC

    As distribuicoes de Y sao dadas abaixo para cada valor de :

    y P0.1(Y = y) P0.3(Y = y) P0.6(Y = y) P0.9(Y = y)

    0 0.6561 0.2401 0.0256 0.00011 0.2916 0.4116 0.1536 0.00362 0.0486 0.2646 0.3456 0.04863 0.0036 0.0756 0.3456 0.29164 0.0001 0.0081 0.1296 0.6561

    Calcule a funcao poder do teste e as probabilidades maximas doserros tipo I e II para as seguintes RC.

    , {4}, {3, 4}, {2, 3, 4}, {1, 2, 3, 4} e {0, 1, 2, 3, 4}

  • Exemplo Lanca