24
09/10/2008 1 Métodos Quantitativos PROF. DR. Renato Vicente OBJETIVOS DA DISCIPLINA Aumentar a eficiência e a perspectiva no tratamento quantitativo de dados abordando os seguintes tópicos 1. Breve história das Probabilidades e da Estatística; 2. Estatística Descritiva; 3. Inferência Estatística; 4. Análise de Regressão; 5. Análise de Variância; 6. Amostragem . HISTÓRICO PROFISSIONAL DO PROFESSOR 1. Bacharelado em Ciências Moleculares pela Universidade de São Paulo 2. Mestre em Física pela Universidade de São Paulo 3. PhD pela University of Aston in Birmingham, Inglaterra 4. Atuou como Analista Quantitativo Sênior no mercado financeiro 5. Professor da EACH-USP desde sua fundação em 2005.

09/10/2008 - al.sp.gov.br · Análise Multivariada 1 26/11/2008 Análise Multivariada 2 ... Gramática dos Gráficos (implementada em R) TAXAS DE MORTALIDADE E NATALIDADE POR 100.000

  • Upload
    vannga

  • View
    213

  • Download
    0

Embed Size (px)

Citation preview

09/10/2008

1

Métodos Quantitativos

PROF. DR. Renato Vicente

OBJETIVOS DA DISCIPLINA

Aumentar a eficiência e a perspectiva no

tratamento quantitativo de dados abordando osseguintes tópicos

1. Breve história das Probabilidades e da

Estatística;

2. Estatística Descritiva;

3. Inferência Estatística;

4. Análise de Regressão;

5. Análise de Variância;

6. Amostragem .

HISTÓRICO PROFISSIONAL DO PROFESSOR

1. Bacharelado em Ciências Moleculares pela Universidade de São Paulo

2. Mestre em Física pela Universidade de São Paulo

3. PhD pela University of Aston in Birmingham, Inglaterra

4. Atuou como Analista Quantitativo Sênior no mercado financeiro

5. Professor da EACH-USP desde sua fundação em 2005.

09/10/2008

2

PLANO DE CURSO

Data Conteúdo

09/10/2008 Breve História das Probabilidades e da Estatística

Estatística Descritiva 1

16/10/2008 Estatística Descritiva 2

Estatística Descritiva 3

23/10/2008 Inferência Estatística 1

Inferência Estatística 2

30/10/2008 Inferência Estatística 3

Simulação

12/11/2008 Regressão

Análise Multivariada 1

26/11/2008 Análise Multivariada 2

Amostragem

Aula 1A

Uma Breve História das Probabilidades e da Estatística

BIBLIOGRAFIA

1. D. Bennett, Aleatoriedade, Martins Fontes, 2003.

2. David, F.N., Games, Gods and Gambling.

3. Tabak, J., Probability and Statistics: TheScience of Uncertainty

09/10/2008

3

Primórdios: Jogos e Divinação

Coleções de ossos da pata

de cães, carneiros ou cabras

(chamados astragali, pelos

gregos) , são encontrados

em sítios arqueológicos do

Neolítico até a Idade Média.

Em grego o termo para dado ou cubo é kubos. Em árabe o termo para dado

cúbico e para astrágalo é kab, o que sugere que os dados modernos

tenham derivado dos astrágalos antigos. Na figura de fundo vermelho à direita

vemos dados egípcios de 3000 anos (no Museu do Louvre).

Primórdios: Jogos e Divinação

Jogos com componentes aleatórios são comuns nos sítios arqueológicos

antigos (esquerda e centro – Senet 1000 aC) e (direita - Ur 2500 aC)

Primeiros Estudos Teóricos: Cardano

Girolamo Cardano (1501-1576) era um

intelectual renascentista viciado em jogos. Em

um relato escreveu: “O resultado foi que após

vinte jogadas recuperei minhas roupas, meus

anéis e colar para o menino. ”

Escreveu um livro sobre jogos de azar (Liber

de Ludo Aleae) relacionando sorte à

contagem de possibilidades.

Na figura a chance da soma de

dois dados totalizar 10 é de 3/36.

09/10/2008

4

Primeiros Estudos Teóricos: Galileu

Galileu Galilei (1564-1642) foi contratado em

1613 para ser matemático oficial de Cosimo

de Medici II e Primeiro Matemático da

Universidade de Pisa. Logo foi chamado a

responder questões relacionadas a jogos com

dados. Em particular:

Por que 10 e 11 aparecem mais

freqüentemente do que 9 e 12 em arremessos

de 3 dados?

Para responder a questão publicou Sopra le

Scoperte dei Dadi

Na primeira frase do artigo escreveu: “O fato de que em jogos de dados certos

números são mais vantajosos do que outros tem uma razão óbvia, i.e., que

alguns números são obtidos mais facilmente e mais frequentemente do que

outros, o que depende destes poderem ser obtidos através de uma variedade

maior de números”

Primeiros Estudos Teóricos: Galileu

A tabela acima (reproduzida do artigo original de Galileu) mostra contagens para o

número de vezes que uma particular soma de três dados. Assim, por exemplo, 10

pode ser obtido através de (631,622,541,532,442,433) em um total de 27 formas

diferentes.

Pascal e Fermat: Nasce a Teoria de Probabilidades

Fermat (1601-1665) Pascal (1623-1662)

O nobre francês chevalier de Méré era um jogador inveterado havia feito as

seguintes apostas, acreditando-as boas e equivalentes:

APOSTA 1:Aposta em ao menos um em 4 arremessos de um dado.

APOSTA 2: Aposta em ao menos 24 arremessos de dois dados.

Apesar de deduzir que as chances

dos dois eventos seriam as mesmas

(2/3) chevalier de Méré perdia

consistentemente com a aposta 2 e,

assim, pediu a Pascal uma

explicação. Pascal então iniciou

enviou uma carta a Fermat, iniciando

a correspondência que deu origem a

teoria de probabilidades

09/10/2008

5

Pascal e Fermat: Nasce a Teoria de Probabilidades

RACIOCíNIO (ERRADO) DO JOGADOR:

APOSTA 1: Prob( pelo menos 1 em 4 jogadas) = 4×(1/6) = 2/3

APOSTA 2: Prob( pelo menos 1 em 24 jogadas) = 24 ×(1/36) = 2/3

Fermat e Pascal:

APOSTA 1: Prob( de NENHUM em 4 jogadas ) = (5/6)4 = 0,482

APOSTA 2: Prob( de NENHUM em 4 jogadas) = (35/36) = 0,509

Assim a APOSTA 1 tem probabilidade de perda de 48,2% , sendo a melhor

aposta.

A Teoria de Probabilidades amadurece: Huygens, Bernoulli e De Moivre

http://www.stat.sc.edu/~west/javahtml/CLT.html

http://www.math.csusb.edu/faculty/stanton/m262/intro_prob_models/intro_prob_models.html

Huygens (1629-1695) Jacob Bernoulli

(1654-1705)

Apesar de ter surgido no contexto de Jogos de Azar, a partir do trabalho

de Huygens ,de Bernoulli e de De Moivre a teoria de probabilidades

passou a ser entendida como uma teoria matemática para eventos

aleatórios.

Abraham De Moivre

(1667-1754)

A Teoria de Probabilidades amadurece: Huygens, Bernoulli e De Moivre

Primeira página do livro de De Moivre

sobre Probabilidades. Amigo de

Newton e Halley, De Moivre foi o

primeiro a descrever a curva Normal

(hoje chamada Gaussiana).

http://www-stat.stanford.edu/~naras/jsm/NormalDensity/NormalDensity.html

http://stat.wvu.edu/SRS/Modules/Normal/normal.html

09/10/2008

6

Nascimento da Demografia: Ibn Khaldun

Ibn Khaldun (1332-1406), pensador do

mundo islamico medieval, produziu o

primeiro trabalho teórico sobre dados

demográficos de que se tem registro.

Observando dados demográficos propôs

uma teoria para a dinâmica da história

baseada na idéia da asabiyah (

solidaridade social).

Voltando para 1066: Nascimento da Demografia

Livro de Winchester: O rei normando, William o Conquistador, ordenou, após

sua vitória sobre o rei anglo-saxão Harold em 1066, que um levantamento

extremamente detalhado do que havia nas terras inglesas conquistadas. O rei

morreu em 1087 sem nunca fazer uso do livro.

Nascimento da Estatística: John Graunt

John Graunt (1620-1674) um lojista londrino que decidiu estudar

sistematicamente a documentação sobre mortes e nascimentos registradas em

Londres por um período de 57 anos. Os dados compilados por Graunt foram

utilizados por Edmund Halley para o primeiro cálculo de expectativa de vida e

subsequentes aplicações aos seguros de vida. Halley era amigo de Newton e

De Moivre.

09/10/2008

7

A Estatística encontra a Probabilidade

Christiaan Huygens(1620-1674) utilizou os dados de John Graunt para construir

o primeiro gráfico representando a expectativa de vida de pessoas de uma

certa idade, estes cálculos foram utilizados para venda se seguros.

A Estatística moderna

A Estatística moderna depende ainda de outro caminho além da teoria

matemática do acaso e da demografia: a teoria dos erros de medição.

Os nomes centrais nos primórdios desse ramo serão Gauss, Laplace e

Legendre.

Retomaremos esta parte da história da Estatística mais a diante.

Aula 1B

Introdução à Estatística Descritiva: Apresentação

Gráfica de Informação Quantitativa

09/10/2008

8

BIBLIOGRAFIA

1. Johnson, S., O Mapa Fantasma, Zahar.

2. Tufte, E.R., The Visual Display ofQuantitative Information

3. Tufte, E.R., Visual Information

4. Cleveland, W.S., The Elements of GraphingData

Perguntas

1. Para que precisamos de gráficos?

2. Como surgiu a idéia?

3. Quais são seus elementos básicos?

4. Poderia dar exemplos?

5. Como posso confeccioná-los?

6. Como produzo gráficos com qualidade?

7. Resumindo

Para que servem os gráficos: Dois casos

09/10/2008

9

Epidemia de Cólera em Londres (set/1854)

John Snow

Epidemia de Cólera em Londres (set/1854)

Anál

ise d

e J

ohn S

now

para

a e

pid

em

ia d

e

Cóle

ra e

m L

ondre

s (s

et/

1854)

Análise de John Snow para a epidemia de Cólera em Londres (set/1854)

Hoje é possível visitar a bomba d’água que serviu como evidênciapara a conexão causal entre o cólera e a contaminação da água. Háum pub em homenagem a John Snow.

09/10/2008

10

Análise de John Snow para a epidemia de Cólera em Londres (set/1854)

Extraído de E.R. Tufte, Visual Explanations

A epidemia já estava recuando quando a bomba de água foidesativada.

O ônibus espacial Challenger explodiu em 1986 devido a umafalha em um anel de vedação em um dos foguetes a propelentesólido

Ônibus espacial Challenger (28/jan/1986)

Ônibus espacial Challenger (28/jan/1986)

Eventos em testes com foguetes sólidos da Morton ThiokolInc.

09/10/2008

11

Ônibus espacial Challenger (28/jan/1986)

NÚMERO DE INCIDENTES COMO FUNÇÃO DA TEMPERATURA.Somente são exibidos lançamentos com ocorrência de incidentes.A previsão de temperatura para o dia do lançamento era algo emtorno de 0 oC. Você autorizaria o lançamento ? Por que?

Ônibus espacial Challenger (28/jan/1986)

HISTÓRICO DE DANOS AOS ANÉIS DE VEDAÇÃO COMOFUNÇÃO DA TEMPERATURA. A previsão de temperatura para odia do lançamento era algo em torno de 0 oC. Você autorizaria olançamento ? Por que?

Ônibus espacial Challenger (28/jan/1986)

I took this stuff that I got out of your seal and I put it in ice water, and I discovered that when you put some pressure on it for a whileand then undo it it doesn't stretch back. It stays the same dimension. In other words, for a few seconds at least and more seconds thanthat, there is no resilience in this particular material when it is at a temperature of 32 degrees.

I believe that has some significance to our problem. Richard P. Feynman

09/10/2008

12

Como surgiu a idéia: Um pouco de história

Representações Egípcias 2000 a.C.

As decorações egípcias eram desenhadas como diagramascodificados para comunicar com clareza eventos do passado.

Representações Egípcias 1400 a.C.

“O Jardim de Nebamun” (1400 aC), Tebas, atualmente no MuseuBritânico. Há aqui uma preocupação em representardiagramaticamente , de forma identificável, as espécies presentesno jardim.

09/10/2008

13

Movimento de Planetas: Século 10 (ou 11)

A representação acima é o mais antigo registro gráfico dosmovimentos planetários encontrada em um texto de instruçãopara monastérios do século 10 (ou 11).

Nicole d’Oresme (1323-1382)

Primeira proposta de representação gráfica de dependência entre valores quantitativos de variáveis publicado em manuscrito de Nicole d’Óresme de 1350.

Século de Newton (Séc 17)

Medidas de longitude de Michael van Langren (1644)

Função contínua de Halley

Espectativa de vida de Christiaan Huygens(1669)

09/10/2008

14

Século de Newton (Séc 17)

Medidas de longitude de Michael van Langren (1644)

Função contínua de Halley

Espectativa de vida de Christiaan Huygens(1669)

Quais são os elementos básicos de um gráfico?

Term

inolo

gia

: D

ois

conju

nto

s superp

ost

os

de d

ados

Rótulos

Escala horizontal

Título

Figura 1. TAXAS DE MORTALIDADE AJUSTADAS PELA IDADE. Os dadosrepresentam o porcentual de mudança nas taxas de mortalidade devido aproblemas cardiovasculares e a outras doenças nos EUA

Legenda

Região dos dados

Linha de referência

Escala

vert

ical

MarcadorChave

09/10/2008

15

Term

inolo

gia

: D

ois

conju

nto

s justa

posto

s d

e

dados

Rótulo de escala

Símbolos

Rótulo dos

dados

ANO

Marcador Rótulos dos marcadores

Figura 2. TAXAS DE MORTALIDADE AJUSTADAS PELA IDADE. Os dados

representam o porcentual de mudança nas taxas de mortalidade devido aproblemas cardiovasculares e a outras doenças nos EUA

PRIMEIRA UNIDADE

DE CUIDADOS CARDIOVASC.

Painel 1

Painel 2

Como Confeccioná-los ?

Ferramentas de Confecção

1. Papel milimetrado

APRENDIZADO EM GATOS. Curva de aprendizagem de gatosexpostos à tarefa de escapar de um labirinto. O gráfico representaa rapidez da execução da tarefa (em escapes por minuto) contra onúmero de tentativas.

09/10/2008

16

Ferramentas de Confecção

2. Planilhas Eletrônicas

Ferramentas de Confecção

3. Software Estatístico R

RESULTADO DAS ELEIÇÕES PRESIDENCIAIS DE 2004 NOS EUA.

A área dos círculos é representa o tamanho da diferença de votos.Áreas azuis representam vitória de Kerry e em vermelho vitória deBush. Kerry obteve grandes margens em grandes cidades nas costasenquanto Bush venceu em pequenas cidades do meio oeste.

Ferramentas de Confecção4. Gramática dos Gráficos (implementada em

R)

TAXAS DE MORTALIDADE E NATALIDADE POR 100.000HABITANTES

09/10/2008

17

Poderia dar Exemplos?

Gráfico de Setores

PERCEPÇÃO DE VIÉS DE GÊNERO NA AVALIAÇAO DE ARTIGOSSUBMETIDOS À REVISTAS CIENTÍFICAS

Gráfico de Barras

PERCEPÇÃO DE VIÉS DE GÊNERO NA AVALIAÇAO DE ARTIGOSSUBMETIDOS À REVISTAS CIENTÍFICAS

09/10/2008

18

Barras e Rosa de Nightingale

PERCEPÇÃO DE VIÉS DE GÊNERO NA AVALIAÇAO DE ARTIGOSSUBMETIDOS À REVISTAS CIENTÍFICAS

Gráfico de Barras 3

COMPOSIÇÃO DA POPULAÇÃO DOS EUA EM 1980 POR GÊNERO

Box Plot

TAXA DE NATALIDADE SEGUNDO TIPO DE GOVERNO E LOCAL DERESIDÊNCIA

09/10/2008

19

Gráfico de Pontos (Dot Plot)

POPULAÇÃO DE UM CONJUNTO DE CIDADES.

Série Temporal

MANCHAS SOLARES

Trajetória

EVOLUÇÃO TEMPORAL DE PREÇOS E CONSUMO DE CIGARROS.

09/10/2008

20

Histograma 1

HISTOGRAMA DE TAXAS DE NATALIDADE COM DOISCRITËRIOS DE SEGMENTAÇÃO DE ESCALA (REGULAR EVORONOI)

Histograma 2

FREQUENCIA DE MORTES NO TRANSITO POR IDADE

Gráficos Tridimensionais

ALISAMENTO DA DISTRIBUIÇÃO DE TEMPERATURAS NOS EUA

09/10/2008

21

Faces

Intensidade de emoções

Como produzo gráficos com qualidade ?

Princípios de construção de gráficos

1. Visualização clara

2. Compreensão clara

3. Escolha apropriada de escalas

09/10/2008

22

Contra-exemplo de visualização clara

Os dados devem se destacar em relação aos recursos gráficos.

ATIVIDADES DE MULHERES !KUNG E SEUS BEBÊS. Os eixosvertical e horizontal indicam as horas e os minutos,respectivamente. Retângulos claros e barras verticais indicamamamentação, a letra F indica choro do bebê, as barras escurasindicam sono do bebê e os achurados indicam mãe com bebê nocolo. O gráfico é confuso.

Visualização clara: Retificando o gráfico segundo o princípio

ATIVIDADES DE MULHERES !KUNG E SEUS BEBÊS. As barrasindicam os momentos dedicados a cada uma das seguintesatividades: amamentação (nursing), sono (sleep), choro (fretting) ecolo (holding). Sem necessidade de elementos gráficos supérfluos,os dados se destacam nessa versão.

Outro contra-exemplo de visualização clara

EVOLUÇÃO DE PREFERÊNCIAS POR CORES EM GALINÁCEOS. Oexperimento consiste na seleção de gerações de animais segundopreferências pela cor vermelha ou azul. No centro há uma linharepresentando o controle sem seleção. As barras indicam adistribuição de preferências. As barras tornam o gráfico superpostoconfuso.

09/10/2008

23

Visualização clara: Retificando o gráfico segundo o princípio

EVOLUÇÃO DE PREFERÊNCIAS POR CORES EM GALINÁCEOS. O experimento consiste na seleção de gerações de animais segundo preferências pela cor vermelha ou azul. As barras indicam a distribuição de preferências. A justaposição é a escolha mais adequada.

Compreensão clara

1. Descreva na legenda tudo o que estiver representado no gráfico.

2. Dê particular atenção às características importantes do gráfico.

3. Descreva as conclusões extraídas do gráfico.

Excelência Gráfica

CAMPANHA DE NAPOLEÃO CONTRA A RÚSSIA. O gráfico mostraa marcha das tropas napoleônicas contra Moscou em 1812-1813. Alargura da figura representa o número de soldados. A curvacinzenta representa a marcha de ida e a preta indica a marcha devolta. Abaixo há um gráfico indicando as temperaturas durante amarcha de volta. As tropas pereceram no rigoroso inverno russo.

09/10/2008

24

Excelência Gráfica

1. A excelência gráfica é a apresentação bemprojetada de dados interessantes, uma combinaçãoentre substância, estatística e design gráfico.

2. A excelência gráfica consiste da comunicação deidéias com clareza, precisão e eficiência.

3. A excelência gráfica é o que dá ao leitor o maiornúmero de idéias no menor tempo com o menor usode tinta de no menor espaço.

4. A excelência gráfica requer que se procure contar averdade dobre os dados.

Edward. R. Tufte