Avaliação de Projetos Sociais

Reynaldo Fernandes

Universidade de São Paulo – USP

Sumário

1. Avaliação de Projetos Sociais: aspectos gerais

2. Avaliação do Programa Jovens Urbanos: comentários

3. Avaliação do Projeto Jovem de Futuro: comentários

Avaliação de Projetos Sociais: aspectos gerais

Avaliação de Projetos Sociais

1) Avaliação de Impacto: O projeto apresentou os impactos desejados?

2) Avaliação Econômica (análise custo-benefício): Os benefícios do projeto compensam os custos?

3) Identificação dos Mecanismos:Quais são os mecanismos pelos quais o programa afeta os beneficiários?

Avaliação de Projetos Sociais: Brasil

Houve um grande avanço na disseminação das avaliações de impacto.

Existem algumas iniciativas em Avaliações Econômicas: incipientes e muito simplificadas.

Poucas tentativas de identificar os mecanismos pelos quais o programa atua. As avaliações existentes são, em geral, do tipo “caixa preta”.

Identificação de Mecanismos

Seria fundamental para dar escala para muitas experiências piloto avaliadas. Muito dos programas avaliados são muito difíceis de expandir para larga gama de beneficiários.

Se conhecêssemos os mecanismos pelos quais o programa atua seria mais fácil transportá-los para uma aplicação em larga escala.

Uma das funções de Projetos-piloto na área social seria, justamente, a de gerar conhecimento sobre tais mecanismos.

Identificação de Mecanismos

Uma das principais críticas dos avaliados é que a avaliação não os auxiliam no entendimento, aperfeiçoamento e correção do projeto.

Os avaliados gostariam de uma avaliação mais “formativa”.

Avaliação do Programa Jovens Urbanos: comentários

Programa Jovens Urbanos

Trata-se de uma avaliação não experimental e, portanto, tem que lidar como potencial viés de participação.

Admite-se que a diferença entre participantes e controle dependa apena de características observáveis (probabilidade de participação co base em observáveis).

Programa Jovens Urbanos: Resultados de Curto Prazo (1 ano após)

Maior engajamento no mercado de trabalho.

Maior chance de estar empregado

Maior renda pessoal (em grande parte em virtude da maior taxa de emprego)

Maior participação em cursos profissionais

Maior participação em ONGs e Movimentos Sociais

Maior freqüência na leitura de jornais/revistas/livros

Programa Jovens Urbanos: Resultados de Curto Prazo (1 ano após)

Maior engajamento no mercado de trabalho tem haver com o conteúdo das oficinas ou com o contato com as ONGs?

Maior freqüência na leitura de jornais/revistas/livros parece o único resultado não diretamente ligado ao contato com as ONGs

Programa Jovens Urbanos: Resultados de Médio Prazo (4 anos após)

1. Maior engajamento no mercado de trabalho desaparece.

2. Maior proporção de jovens que ingressa no ensino superior.

Programa Jovens Urbanos: Resultados de Médio Prazo (4 anos após)

Como interpretar?

1.Antecipação do Ingresso no mercado de trabalho → Aumento na renda → Ingresso no ensino superior (os jovens alegam que a principal dificuldade de ingressar no ensino superior e a falta de renda).

2.O programa desperta o interesse em continuar os estudos.

Programa Jovens Urbanos: Análise Custo-Benefício

Demasiadamente simplificada.

Poderia gastar mais esforço na estimação dos benefícios ao longo do ciclo de vida. Poderia, por exemplo, levar em conta que os salários crescem com o tempo (produtividade dos sistema) e com a experiência (senioridade):

p = taxa de crescimento salarial em virtude da produtividade do sistema

k = crescimento salarial em virtude da progressão na carreira (ou experiência)

Avaliação do Projeto Jovem de Futuro: comentários

Projeto Jovem de Futuro

Trata-se de uma avaliação experimental e, portanto, resolve, em princípio, o problema de viés de participação.

Resta os problemas gerados por atritos. desistências, perda de informações, infiltrações etc.

Projeto Jovem de Futuro: impacto sobre a aprendizagem

Problema

Resultado de provas podem depender de outros fatores além da aprendizagem (proficiência): empenho na prova, sorte, seleção dos candidatos etc.

O problema surge quando o programa afeta esses outros fatores.

Tem sido observado que os participantes de programas (grupo de tratamento) tendem a se empenhar mais em exames realizados para avaliar os programas. “Inflação de notas”.

Utilizar exames destinados para outros fins é uma melhor alternativa (e.g. prova Brasil, SARESP etc.)

Projeto Jovem de Futuro: Resultados

Impacto extremamente elevado sobre as proficiências.

Evolução da Proficiência em matemática – Porto AlegreInício Final Variação

SAEB/Brasil (9º ano 2007 e 3º ano do EM 2009)

247 275 28 (3 anos)

Grupo de Controle (Diagnóstica 2008 e Somativa 2009)

236 266 30 (1 ano)

Grupo de Tratamento (Diagnóstica 2008 e Somativa

2009)

239 286 47 (1 ano)

Impacto - - 17 (1 ano)

Projeto Jovem de Futuro: Avaliação Econômica

Impacto da Proficiência sobre a renda: 10 ponto de proficiência eleva a renda em 2,5%

Esse resultado é extraído de uma tese (Soares, 2010). Não conheço a tese, mas, por se tratar de uma tese, creio que a estimativa seja mais elaborada que o usual.

Projeto Jovem de Futuro: Avaliação Econômica

Taxa de retorno considerada é muito elevada: 10 e 15%

Regra de ouro: taxa de retorno = aumento de produtividade do sistema.

A TIR deveria ser o resultado!

Projeto Jovem de Futuro: Mecanismos

O que determina esse impacto elevado:

São os R$ 100,00 por aluno que as escolas participantes recebem? Tem sido difícil encontrar relação entre gasto-aluno e desempenho.

São os recursos junto com as restrições de gastos?

Seria a mobilização?

Projeto Jovem de Futuro: Mecanismos

Parece existir uma correlação positiva entre o desempenho dos alunos e os investimentos em práticas voltadas para aumentar o índice de freqüência dos professores.

Prosseguir nesse tipo de investigação parece ser caminho interessante para ser trilhado!