46
DICIONÁRIO DE DEFINIÇÕES DO CURSO DE AVALIAÇÃO DE POLÍTICA PÚBLICA. [email protected] Victor Maia Professor de Avaliação Social de Políticas da Fundação João Pinheiro F J P UNDAÇÃO OÃO IN H EIR O

Amostragem Aleatória Simples:

  • Upload
    elia

  • View
    56

  • Download
    4

Embed Size (px)

DESCRIPTION

DICIONÁRIO DE DEFINIÇÕES DO CURSO DE AVALIAÇÃO DE POLÍTICA PÚBLICA. [email protected] Victor Maia Professor de Avaliação Social de Políticas da Fundação João Pinheiro. Amostragem Aleatória Simples:. - PowerPoint PPT Presentation

Citation preview

Page 1: Amostragem Aleatória Simples:

DICIONÁRIO DE DEFINIÇÕESDO CURSO DE AVALIAÇÃO DE

POLÍTICA PÚBLICA.

[email protected]

Victor MaiaProfessor de Avaliação Social de Políticas da Fundação João Pinheiro

F J PU N D A Ç Ã O O Ã O IN H E IR O

Page 2: Amostragem Aleatória Simples:

Amostragem Aleatória Simples:

Procedimento de amostragem probabilístico onde todas as observações possuem mesma probabilidade de sorteio. Muito utilizada quando não há nenhuma informação a priori para as características da população ou quando se quer comparar médias entre dois grupos sem que haja nenhum viés de seleção.

Page 3: Amostragem Aleatória Simples:

Avaliação de Impacto: Refere-se a um trabalho, relatório, parecer, ou texto

científico que procura responder se determinada ação pública (que pode ser um programa, uma lei, a realização de um projeto ou a transferência de recursos) obteve efeito alcançando os resultados almejados. Diz-se que ocorreu impacto quando é possível responder estatisticamente e estabelecer causalidade sobre ação e efeito.

Além da Avaliação de Impacto, há vários outros tipos de Avaliações possíveis: Avaliação de Marco Lógico; Avaliação de Processos; de Implementação; Viabilidade econômica e financeira; e avaliação econométrica.

Page 4: Amostragem Aleatória Simples:

Avaliação do Processo: Segundo o dicionário da profa. Christel

Vermeersch: “Avaliação do Processo é uma avaliação que tenta fazer um nexo de qualidade ou o sucesso dos processos de um programa: por exemplo, a adequação dos processos administrativos, a aceitabilidade dos benefícios do programa, a clareza da divulgação das informações, a dinâmica interna das organizações de execução, os seus instrumentos de política, seus mecanismos de prestação de serviços, suas práticas de gestão, e as ligações entre estes”.

Page 5: Amostragem Aleatória Simples:

Avaliação Ex-Ante:

Avaliação Ex-Ante trata-se de uma avaliação realizada em um período anterior a ocorrência da ação. Como ocorre antes da implementação, geralmente se baseia em dados secundários e análises empíricas e econométricas. Sendo também muito comum o uso de simulações (p.e.: o que aconteceria se aumentassemos a renda do grupo mais pobre em 10%?).

As avaliações ex-ante são muito úteis para se prever acontecimentos anteriores à ação política do governo ou programa. Auxiliam também na interpretação dos resultados de avaliações ex-post.

Page 6: Amostragem Aleatória Simples:

Avaliação Ex-Post:

Avaliação Ex-Post é uma avaliação que ocorre depois da implementação do ação/programa. Possui a vantagem de tratar especificamente com dados diretos e indiretos do programa combinados, e ser melhor vinculada aos resultados.

Uma desvantagem das avaliações ex-post ocorre quando suas conclusões não podem mais influir para melhorias da ação/programa. No entanto, para ações que têm continuidade uma ação ex-post de um período pode servir como avaliação ex-ante para o período seguinte, aperfeiçoando a análise.

Page 7: Amostragem Aleatória Simples:

ATE – Average Treatment Effect: Na linguagem dos Modelos de Diferenças em

Diferenças (Diff-Diff ou Efeito Fixo), o Efeito médio nos Tratados é obtido pela diferença entre o grupo dos tratados (D=1, que recebem benefício da ação/programa) em relação ao grupo de controle (D=0). Constitui-se na diferença de média entre os dois grupos na variável de interesse YD em função das variáveis sobre a qual se possui informação (x, que podem ser os insumos)

ATE = E[Y1(x) – Y0(x)] = E[Y1(x)] – E[Y0(x)] = 01 YY

Page 8: Amostragem Aleatória Simples:

ATT – Average Treatment on the Treated:

Como nunca é possível observar a mesma pessoa em dois estados do tempo, a maioria das estimações de interesse para avaliação de programas sociais se encontra no Efeito Médio do Tratamento nos Tratados. O contra-factual é realizado estimando como seria o efeito/impacto do programa caso o grupo de pessoas tratadas não recebesse o benefício:

ATT = E[Y1(x) – Y0(x)|D=1] = E[Y1(x)|D=1] – E[Y0(x)|D=1] = [ATE|D=1] =

Ao utilizar um grupo de controle “comparável” em que Y | D (técnicas de pareamento) podem permitir que:

ATT = E[Y1(x)|D=1] – E[Y0(x)|D=0]

1|1| 01 DYDY

Só que esseCara não existe!

Page 9: Amostragem Aleatória Simples:

ATC – Average Treatment on the Control:

Efeito médio no Controle, semelhante ao Efeito Médio nos Tratados (ATT - Average Treatment on the Treatment), porém, realizado para o controle. O contrafactual é realizado peeguntando como seria o tratamento caso os não tratados recebessem o benefício:

ATC = E[Y1(x) – Y0(x)|D=0] = E[Y1(x)|D=0] – E[Y0(x)|D=0] = [ATE|D=0] =

Igualmente ao caso do ATT, com Y | D, resultados de Y ortogonais à participação. Podemos utilizar o tratamento, temos que:

ATC = E[Y1(x)|D=1] – E[Y0(x)|D=0]

0|0| 01 DYDY

Essa observação Não existe!

Page 10: Amostragem Aleatória Simples:

Cadeia de Resultados

Relação entre os insumos, atividades, produtos e resultados objetivados pelo programa. Estabelecendo a relação causal para se alcançar os resultados.

Page 11: Amostragem Aleatória Simples:

Causalidade

Causalidade é o estabelecimento de um princípio de relação causa e efeito.

A causalidade é longamente estudada na filosofia. Mas suas definições envolvem relações de implicação entre duas afirmações:

A →B

Page 12: Amostragem Aleatória Simples:

CCT - Conditional Cash Transfer:

Conditional Cash Transfer: Transferências de Renda Condicionada. Programas de assistência social que transferem renda condicionando o recebimento ao cumprimento de algumas condicionalidades. Exemplo: Bolsa Família.

Page 13: Amostragem Aleatória Simples:

Cluster (Conglomerado)

Segundo dicionário da Profa. Christel Vermeersch: “Um claster é um grupo de unidades que são semelhantes, de uma forma ou de outra. Por exemplo, em uma amostra de crianças em idade escolar, as crianças que frequentam a mesma escola, os mesmos professores, e vivem no mesmo bairro.

Page 14: Amostragem Aleatória Simples:

Contra-factual

O contra-factual é uma situação que ocorreria caso a política implementada não existisse. Podemos pensar como o resultado de E[Y0(x)|D=1] do ATT. Em palavras, qual seria o resultado de não ter participado do programa (Y0) caso o grupo tivesse de fato participado (D=1).

Page 15: Amostragem Aleatória Simples:

Controle:

O grupo de controle deve possuir as mesmas características do grupo que está submetido ao tratamento. Dessa maneira estaria se comparando entre iguais. Em uma amostra aleatória anterior o programa sem viés de seleção é possível obtermos:

ATE = E[Y1(x) – Y0(x)]

Page 16: Amostragem Aleatória Simples:

Coorte:

Indivíduos submetidos a um mesmo evento temporal distintivo fazem parte de uma mesma coorte. Por exemplo, pessoas nascidas entre 90 e 91. Turma de economia de 2005, ou então pessoas que receberam o domicílio do bolsa-família em 2006. O evento distintivo ocorre uma vez no tempo mas “marca” e acompanha a coorte para os períodos futuros.

Page 17: Amostragem Aleatória Simples:

Desenho Lógico:

Desenho lógico consiste de uma etapa que explicita as relações causais de um programa, da política ou intervenção. Muito comum nessa fase o uso de fluxograma da relação de insumos, atividades, produtos, resultados e impactos. Mas o desenho não deve ser restringir a isso, deve construir também a relação entre variáveis, contextualizar, procurar definir o público-alvo. Enfim, um mapeamento da cadeia lógica de resultados, assim como o mapeamento das alternativas disponíveis aos formuladores de políticas.

Page 18: Amostragem Aleatória Simples:

Diferenças em Diferenças Dif-Dif: O método de regressão temporal que compara tratamento e

controle antes da implementação do programa (primeira diferença) e depois (segunda diferença). As diferenças são comparadas entre si (diferença das diferenças) para ver se são estatisticamente significantes. Por exemplo, um programa com a segunda diferença positiva e estatisticamente significativa pode estimar um impacto. Em econometria equivalem-se aos métodos de painel com efeito fixo. Em geral pode se controlar os efeitos pelas características X e o método pode ser usado mesmo quanto a seleção entre tratados e não tratados não é completamente aleatória (no entanto deve preservar a ortogonalidade Y | D):

YC = β0 + β1X + β2Ti + δDi + εi

Para o grupo controle D=0 e no tempo T=0, temos:

Para o tratamento (D=1), no tempo T = 0, temos:

Se β1 é o mesmo para os grupos:

CC,C XˆˆY 10

ˆXˆˆY TC,T 10

YY:diferençaprimeira CT

ˆYY

ˆYY:diferençasegundada

C,T,CT

CT

22

Se não há efeito do programa no tempo

Com efeito do programa no tempo

Page 19: Amostragem Aleatória Simples:

Efeito Hawthorne

O efeito “Hawthorne” ocorre quando o fato de se observar as unidades de análise, acompanhá-las em um survey ou entrevistá-las faz com que se comportem de maneira diferente.

Page 20: Amostragem Aleatória Simples:

Efeito John Henry

Do dicionário da profa. Christel Vermeersch: “O efeito John Henry” acontece quando o grupo de comparação trabalha mais para compensar o fato de não ter recebido o tratamento. Quando se compara o grupo de tratamento com o grupo “mais trabalhador”, a estimativa de impacto do programa será viesada: iremos estimar um menor impacto do programa [ou mesmo nenhum impacto ou negativo] do que o verdadeiro impacto que seria encontrado caso o grupo de comparação não fizesse esforço adicional.

Page 21: Amostragem Aleatória Simples:

Endogeneidade: Situações em que a direção de determinação

das variáveis é bidirecional:Y ↔ X

Y é determinado por X, mas Y também determina Y. O problema da Endogeneidade é também chamado de causalidade reversa e leva a um viés na estimativa dos parâmetros.

Exemplos conhecidos de Endogeneidade aparecem em regressões de Escolaridade e Renda. “É a escolaridade que propicia maior renda futura, ou é a maior renda familiar que permite mais estudo?” Outro exemplo: “O número de filhos diminui a renda familiar percapita, ou é o fato de ter renda baixa que leva as famílias optarem por um grande número de filhos?”

Page 22: Amostragem Aleatória Simples:

Erro de Focalização: Erro de focalização também chamado de

“insuficiência” em um caso ou “vazamento” em outro. O erro de focalização ocorre quando o programa falha em alcançar beneficiários do público-alvo. O erro de focalização pode ocorrer por dois motivos:1) beneficiários elegíveis que não receberam (insuficiência); 2) beneficiários não-elegíveis que receberam o benefício (vazamento). Representados no quadro:

Receberam benefício

Sim NãoElegíveis insuficiência

Não-elegíveis vazamento

Page 23: Amostragem Aleatória Simples:

Experimento Aleatório:

Um experimento aleatório é conduzido de forma que por amostragem simples ou probabilística se separe os grupos de tratamento e controle. A vantagem nesse tipo de analise é tentar se expurgar o viés de seleção. Para que se alcance esse feito a população amostrada para os dois grupos deve possui as mesmas características observáveis básicas.

Page 24: Amostragem Aleatória Simples:

Focalização:

A Focalização é a propriedade de um programa atingir 100% do seu público-alvo sem que ocorra erro de vazamentos. O programa atinge todo seu público-alvo e somente ele recebe o benefício.

Page 25: Amostragem Aleatória Simples:

Linha de Base (Baseline):

Pesquisa linha de base, do inglês: baseline, é uma pesquisa de referência para o programa a ser avaliado. De preferência deve ser realizada antes do lançamento do projeto para se conhecer as diferenças prévias entre os grupos de tratados e controles.

Page 26: Amostragem Aleatória Simples:

Marco Lógico:

Bamberguer et. al. (2006) definem: “Marco Lógico é a teoria ou modelo que mostra como se espera que o programa leve aos resultados observados ou desejados. A teoria de um programa identifica recursos, atividades e resultados e especifica uma cadeia-causal de hipóteses ligando os recursos de um programa às atividades, produtos intermediários e objetivos finais”.

Page 27: Amostragem Aleatória Simples:

Matching (Pareamento):

O método de pareamento busca encontrar os grupos de tratamento e controle dentro de um survey mais amplo. Uma das técnicas de matching mais empregadas é o propensity score matching em que o grupo de controle é comparado ao grupo de tratamento com base no pareamento de uma série de características observáveis, usando-se o escore de propensão, que é uma pontuação que diz, com determinadas características observáveis, qual é a chance do indivíduo também participar do tratamento.

Page 28: Amostragem Aleatória Simples:

Métodos Qualitativos:

A análise Qualitativa leva em conta o tratamento de informações estruturadas qualitativamente com o uso de conhecimento baseado em relatos, observações, contexto sociológico, percepções e interações entre os agentes. A análise qualitativa pode ter também dados quantitativos, se avaliação também os trabalha, chama-se de uma metodologia mista.

Page 29: Amostragem Aleatória Simples:

Painel com Efeito-Fixo: Dados em painel são dados cross-section (bancos com

várias variáveis e indivíduos em um corte temporal) empilhados ano a ano. O painel com efeito fixo é adotado quando se quer eliminar os efeitos aleatórios das características individuais ou de um grupo:

Yi = β0,i + β1Xi + β2T + δDi +εi

O β0,i é o parâmetro de intercepto que permite que variação para cada grupo (ou indivíduo i). Como esse efeito é invariável no tempo, β0,i se anula no tempo, mantendo a característica no tempo. Outros efeitos individuais podem ser pensados, tais como um intercepto individual para as características Xi e/ou para características do tempo. Mas deve se levar em conta que isso reduz graus de liberdade do modelo, se o banco possui muitas variáveis isso não será problema.

Page 30: Amostragem Aleatória Simples:

Propensity Score Matching: Ver “Pareamento”. O propensity Score é uma das

formas de pareamento desenvolvida por Rosenbaum e Rubin (1983). O propensity score envolve fazer o pareamento dos grupos com base em uma única variável (Ps) que reúne as características observáveis Xi:

Ps = Prob(D=1|Xi)

Estima-se um Logit ou Probit:

Di = β0 + β∙Xi + εi

O propensity score é a probabilidade de 0 a 1 de do indivíduo ‘i’ perterncer aos tratados, dado que conhecemos as variáveis observáveis Xi. Mais detalhes Becker e Ichino (2002).

Page 31: Amostragem Aleatória Simples:

Público Alvo: O Público-Alvo se constitui das pessoas elegíveis

ao benefício dentro dos requisitos legais ou conceituais do programa.

Tais requisitos devem estar definidos de acordo com a avaliação das causas para as quais uma política social pretenda atuar.

O público-alvo estará tanto melhor definido quanto maior for o conhecimento sobre o problema, sua mensuração é importante para delimitá-lo e defini-lo, essa definição deve também levar em conta os procedimentos da política.

Page 32: Amostragem Aleatória Simples:

Métodos Quantitativos:

Os métodos Quantitativos são métodos que remetem à quantidade e envolvem a mensuração de variáveis e indicadores por meio de procedimentos estatísticos. Nessas técnicas é preciso procurar o efeito do programa em algumas variáveis determinadas.

Page 33: Amostragem Aleatória Simples:

Métodos Mistos:

Avaliações que usam com eficácia ambas metodologias: a qualitativa e a quantitativa. Os componentes da avaliação se integram e perfazem uma avaliação do programa que pode ser mais completa, abordando-o em diversos aspectos.

Page 34: Amostragem Aleatória Simples:

Monitoramento: Do dicionário da profa. Christel

Vermeersch: “Monitoramento é um processo contínuo de recolhimento e análise de informações para verificar quão bem um projeto, programa ou política, está sendo realizado. Baseia-se principalmente em dados administrativos para monitorar o desempenho contra os resultados esperados, fazer comparações entre programas e analisar as tendências ao longo do tempo. Normalmente o monitoramento acompanha insumos, atividades e produtos, embora ocasionalmente também inclua resultados. O monitoramento é utilizado para informar o dia-a-dia da gestão e tomada de decisões”.

Page 35: Amostragem Aleatória Simples:

Poder Estatístico: Do dicionário da profa. Christel

Vermeersch: “O poder de um teste estatístico é a probabilidade de que o teste irá rejeitar a hipótese nula quando a hipótese alternativa é verdadeira (isto é, que não vai cometer um erro tipo II [do teste de hipóteses]). À medida que aumenta o poder, as chances de ocorrer o erro do tipo II diminuem. A probabilidade de um erro do tipo II é definida como a falsa taxa negativa (β). Portanto o poder é igual a 1-β”.

Page 36: Amostragem Aleatória Simples:

Regressão em Descontinuidade: Regressão em Descontinuidade é

geralmente adotada quando há um corte da política identificada por um ponto específico no tempo. Geralmente empregado para analisar antes e depois de políticas universalizantes na quais não há como separar tratados e não-tratados.

tempo

Y

t0 data da política

Yi = β0 + β1Xi + β2T + β3Zi + єi

Zi = 1 para T ≥t0

Zi = 0 para T <t0

Page 37: Amostragem Aleatória Simples:

Tratamento

O grupo de tratamento são pessoas submetidas ao programa. Deve-se compará-los ao grupo de controle que possua as mesmas características observáveis.

Page 38: Amostragem Aleatória Simples:

Teste de Causalidade:

O Teste de causalidade, pretende estudar se existe relação causal entre X → Y, ou se ocorre o contrário, Y→ X, ou mesmo uma co-integração ou simultaneidade, X ↔ Y. Um dos testes de causalidade mais conhecido é o teste de Granger, que parte da premissa de que o futuro não pode predeterminar o presente ou o passado. A partir do teste de Granger outros foram realizados, um bastante difundido é o teste de causalidade de Sims.

Page 39: Amostragem Aleatória Simples:

Teste de Médias (controle e Tratamento):

O teste de médias trata da comparação do resultado entre os grupos de tratamento e controle. Consiste em obter a diferença da média de Y para os dois grupos e estudar se essa diferença é estatisticamente diferente de zero e quais os procedimentos adequados para isso. Caso a diferença seja diferente de zero diz-se que houve impacto, do contrário nada se pode afirmar entre o resultado de quem recebeu o programa (tratados) e de quem não o recebeu (Para mais detalhes ver ATE).

Page 40: Amostragem Aleatória Simples:

Universalização: Universalização é o oposto de uma política

focalizada. Uma política universal é aquela que tem toda a população de uma região ou país como seu público-alvo. Políticas universais costumam a ter elevados custos operacionais e por vezes não conseguem um valor per capita que beneficie a maioria dos cidadão. Por conta disso existe um trade-off entre fazer uma política universal onde cada beneficiário recebe um pequeno valor, ou políticas focalizadas onde o valor do benefício pode ser mais alto, porém não é toda população que o recebe. Exemplo de políticas que são universais no Brasil são o Sistema Único de Saúde, SUS e a Educação Pública.

Page 41: Amostragem Aleatória Simples:

Variáveis Dummy e Variáveis Categóricas:

Variáveis Dummy são variáveis identificadores que assumem valores de 0 ou 1. São usadas em diversos contextos, um deles pode ser a identificação de tratamento e controle: Di=1 para tratados e Di=0 para o controle. Há também vários outros usos para variáveis dummy.

Variáveis categóricas são variáveis que assumem valores discretos e finitos. Por exemplo, para descrever ocupações, ou faixa de renda, poderia se usar Xi = 1, 2, 3, 4, ...,N. As variáveis categóricas requerem as vezes tratamento e interpretação a parte nas regressões.

Page 42: Amostragem Aleatória Simples:

Validade Externa:

A Validade externa envolve uma lógica indutiva e estatística que seja verdadeira e pode ser generalizado para outros grupos de análise semelhantes. Um programa que apresenta impactos positivos para um determinado subconjunto representativo da população (do grupo universo), aceitando a validade externa, será igualmente efetivo quando aplicado ao conjunto-universo.

Page 43: Amostragem Aleatória Simples:

Validade Interna: A validade interna diz respeito a

um conceito de lógica e envolve perscrutar sua lógica causal de um programa. Isso quer dizer que se pode se desenvolver o programa por argumentos de dedução e há ligação causal entre seus “insumos” & “atividades” com os “produtos” & “resultados”. Segundo Vermeersch “a validade interna significa que a avaliação do impacto usa um grupo de comparação válido”.

Page 44: Amostragem Aleatória Simples:

Variáveis Instrumentais:

As Variáveis Instrumentais são variáveis correlacionadas com a participação no programa, ou seja, determinante para uma pessoa entrar ou não no grupo dos tratados, mas não deve influir diretamente na variável resposta e nem ter nenhuma correlação com as características Xi dos indivíduos. As variáveis instrumentais são usadas quando não há maneira de sem elas distinguir tratados e controles.

VI

Tratados

Controle

YT

YC

Page 45: Amostragem Aleatória Simples:

Vazamento:

Vazamento é um erro de focalização que ocorre quando beneficiários não-elegíveis recebem o benefício. O programa “vazou” para quem não teria direito ao benefício. (ver também “Erro de Focalização”).

Page 46: Amostragem Aleatória Simples:

Viés de Seleção:

De acordo com o dicionário da profa. Christel Vermeersch, “Viés de seleção ocorre quando as razões pelas quais um indivíduo participa de um programa são correlacionadas com os resultados. Este viés ocorre geralmente quando o grupo de comparação é inelegível ou se auto-seleciona para fora do tratamento”.