Sessão 4: Avaliação na perspectiva de diferentes tipos de organizações
do setor sem fins lucrativos
Avaliação Econômica como instrumento para o aprimoramento
da gestão das ações sociais26/09/2013
Fundação Itaú Social
• Responsável pelo Investimento Social Privado do Banco Itaú
• Desde 1993 – desenvolvimento de tecnologias que contribuem para melhoria de políticas públicas.
• Estrutura de Governança: Comissão Executiva e Grupo Orientador
• Foco em resultados: objetividade; mensuração; instrumentos; métodos.
Áreas de atuação
Educação Integral Gestão
EducacionalAvaliação de Projetos
Sociais
Mobilização Social
Programas
Missão: Formular, implantar e disseminar metodologias voltadas para melhoria de políticas públicas na área educacional e para avaliação econômica de projetos sociais
Avaliação
• Importante instrumento para gestão – refletido na própria missão
• Verificação de resultados escolhas internas disseminação organizações governamentais e não governamentais
Paradigma do investimento social
Resultado Retorno
Eficiência no uso dos recursos
Impacto das ações
Avaliação Econômica de Projetos Sociais
Avaliação de Impacto
� Metodologia quantitativa
� Relações causais: ações do projeto eindicadores de interesse.
� Efeitos sobre público alvo: intencionaisou não-intencionais (externalidades)
� Efeitos foram REALMENTE resultadodo projeto ou ocorreriam de qualquerforma.
� Grupo Tratamento – participou doprojeto
� Grupo Controle - formar grupos denão-participantes (na linguagem deavaliação de não-tratados), que tenham asmesmas características dos participantes(tratados).
Avaliação de Retorno Econômico
� Retorno do programa em termosmonetários para a sociedade.
� Custos do projeto e benefícios geradospara as pessoas atendidas peloprograma.
� Benefícios - ciclo de vida das pessoasou alguns anos.
� Custos x resultados alcançados?
� Efetividade do programa xalternativas?
Planejamento 2013
Focos de Atuação:
• Ampliar a disseminação de conceitos sobre
avaliação econômica de projetos sociais
• Incentivar e contribuir para a prática da
avaliação econômica
• Consolidar os conhecimentos relacionados à
avaliação econômica de projetos sociais
Programa de Avaliação Econômica de Projetos Sociais
Frentes
Cursos
Oficinas
Seminários
Encontros Temáticos
Rede de Avaliação
Avaliações
Público Alvo:
• Terceiro setor
• Servidores públicos
• Universitários
Desde 2004
Curso de Avaliação Econômica de Projetos Sociais
• Curso para Gestores
• 72 horas
• Atividades teóricas e práticas
• Início – 2005: São Paulo e Rio de Janeiro
• A partir de 2009: expansão para outros estados
• 1800 participantes – 2005 a 2013
• Necessidade da verificação dos resultados alcançados:
Os ex alunos:
� Haviam aprendido sobre esta metodologia de avaliação?
� Haviam mudado as práticas avaliativas em suas instituições?
� Estavam realizando a avaliação econômica de seus projetos para reorientação ou aprimoramento das ações desenvolvidas?
Avaliação do Curso de Avaliação Econômica
Avaliação Econômica
� Avaliação do impacto sobre quatro aspectos:
i) Condições para avaliação
ii) Prática das avaliações
iii) Gestão de projetos
iv) Uso das avaliações para gestão e dos projetos.
� Impactos poderiam ir além da prática de avaliação
i. Insumos para avaliação
ii. Aspectos de gestão
iii. Planejamento das ações e acompanhamento de metas
Avaliação Qualitativa
� Aprofundamento e qualificação dos resultados
� Influência nas organizações
� Alteração de práticas
Vantagens e benefícios da complementaridade de metodologias
Sobre avaliação
• “Programas sociais simples podem ter grandes impactos, mas
precisamos saber exatamente quais programas e qual o seu
impacto real, se quisermos realizar a maior mudança possível
no mundo” Karlan(2011)
• Diferentes tipos de avaliação estão diretamente ligados ao i)
momento em que são realizadas (antes durante e depois); ii)
objeto do estudo; objetivos do estudo; técnicas que empregam;
pela relação que estabelece com a política (ou projeto) –
FRANCO e COHEN (1998)
Avaliação Econômica 2007 2010
26 cursos em 14 cidades
250 – Grupo controle
Amostra: São Paulo, Rio de Janeiro e Belo Horizonte
14 turmas68% inscrições91% lista de espera
547 – Grupo tratados
Perfil
Organizações majoritariamente do terceiro setor
Áreas de atuação variadas, mas com alta concentração em assistência e educação
Organizações que participam em média são maiores (mais projetos e beneficiários) do
que as da lista de espera
Características, em geral, são muito variadas
� Não identificou impacto em diversos indicadores analisados
� Participar do Curso não está associado a maior prática de avaliação
� Apontou que as organizações atribuem valor relevante para o Curso, contudo, não refletem sobre o aumento da prática de avaliação nas organizações
� Mais de 90% das organizações, independente da participação no Curso, declararam realizar avaliações periódicas de seus projetos, sem especificar a metodologia utilizada
� Com relação a avaliação de impacto, principal método abordado no Curso, mais de 90% das organizações que ficaram em lista de espera declaram praticar este tipo de avaliação, contra menos de 80% das instituições que efetivamente participaram do Curso
Avaliação Econômica: resultados
Retorno econômico
• Benefícios para organizações que participaram do Curso, não sobre seus
beneficiários
• Disposição a Pagar - Alternativa a análise de retorno econômico
• O grupo que fez o Curso - R$1.877
• O grupo não participante - R$1.989.
• Valorizam igualmente
• Benefícios valorizados - não captados pelo instrumento usado na parte de
impacto da avaliação econômica.
Avaliação Qualitativa
• 20 entrevistas (1h30) em profundidade com gestores de projetos sociais.
• Roteiro semi-estruturado para aprofundamento
• Exploração das principais hipóteses levantadas pela avaliação econômica do Curso
• Público-alvo: participantes e não participantes do Curso;
• 4 entrevistas (São Paulo) foram conduzidas em salas de espelho para acompanhamento e refinamento do roteiro;
• Além das cidades incluídas na avaliação de impacto, a pesquisa qualitativa incluiu participantes em Recife.
Razões para não realizar a avaliação de impacto
• Despreparo para colocar os conhecimentos em prática;
• Dificuldade na implementação;
• Falta de apoio político dentro da instituição;
• Sobrecarga de trabalho, priorizando outras atividades em detrimento da avaliação econômica.
Principais benefícios do curso
• Maior utilização de indicadores sistemáticos para o monitoramento dos projetos
• Indicadores subjetivos ou adaptados/híbridos
• Informações mais organizadas, porém nem sempre fáceis de se obter
Resultados da Avaliação Qualitativa
Uso dos resultados: aprimoramento das ações - objetivos
Apesar de bilhões de dólares serem gastos todos os anos com projetos
sociais, muito pouco se sabe do seu impacto sobre beneficiários e sua
viabilidade econômica”
Banco Mundial