Mini curso: modelos de causalidade lógica e Marco Lógico

F J PU N D A Ç Ã O O Ã O I N H E I R O

Fortaleza 16/06/200

9

Victor Maia Senna Delgadoe-mail: victor.maia@fjp.mg.gov.br

Lycia Limae-mail: llima@worldbank.org

Aula 02

II Seminário da Rede Brasileira de Monitoramento e Avaliação

Introdução:

O planejamento do programa deve vir antes de sua implementação. No entanto, a identificação de uma necessidade para o surgimento do programa tem de atender condições específicas.

Existe uma combinação de fatores que possibilita desde a identificação de uma necessidade até a implementação de um programa e sua avaliação. Um programa para ter sucesso deve cumprir etapas de convencimento dos stakeholders, o que está relacionado a uma consistência do Marco Lógico e deve superar pre-condições relativas à sua implementação.

Há uma série de pontos para superar a inércia e fazer o projeto andar.

Introdução:

O marco lógico resgata princípios da política de planejamento estratégico.

O planejamento estratégico é um processo gerencial que diz respeito à formulação de objetivos para a seleção de programas de ação e para sua execução, levando em conta as condições internas e externas à [organização ou autarquia responsável] e sua evolução esperada. Também considera premissas básicas que um [programa] deve respeitar para que todo o processo tenha coerência e sustentação. Fonte: adaptado de Wikipédia (11/06/2010).

Introdução:

Todo programa necessita de um planejamento que o insira em um plano maior de governo (planos plurianuais ou planos decenais). Em várias situações, o planejamento de longo prazo não é específico de um só governo, mas sim faz parte de uma política de Estado.

É também extremamente necessário inseri-lo em uma teoria que justifique sua atuação.

Um grande motivador é o componente político, que pode e deve porém ser aliado do componente técnico.

Pré-Condições para surgimento de uma Política:

Vontade Política

Recursos Financeiros

Contexto

Estrutura (Capital Físico, Humano e Social, instituições)

Teoria

Pré-Condições para surgimento de uma Política:

Vontade Política

Recursos Financeiros

Contexto

Estrutura (Capital Físico, Humano e Social, instituições)

Teoria Há também outras pré-condições.

Como as pré-condições podem ajudar na formulação de um programa com marco lógico coerente?

Todo projeto tem um modelo causal, uma hipótese ou conjunto de hipóteses que orientam a intervenção. Esse modelo causal pode estar enunciado de forma explícita ou implícita.

A forma explícita é a preferencial pois fornece uma clareza sobre a cadeia lógica e apresenta hipóteses testáveis sobre os fatores condicionantes de uma situação social. Em alguns casos, se baseia em hipóteses pré-estabelecidas e verificadas.

Construindo o Marco-Lógico:

Construindo o Marco-Lógico: Entretanto nem sempre a forma explícita é possível (é

importante sempre buscá-la).

Em alguns casos não há teoria ou evidências sedimentadas, isso não quer dizer que o programa deve deixar de existir. Porém os formuladores devem estar atentos para procurar sempre a cadeia causal, por vezes reconstruí-la enquanto o programa é implementado ajudando a elucidá-la.

É difícil estabelecer as cadeias de causalidade. A formulação do modelo causal não é tarefa simples! Problemas sociais são multifacetados, com causas múltiplas que interagem. Exemplo: Pobreza.

Assim, às vezes, é difícil definir os mecanismos necessários para enfrentar o problema!

Construindo o Marco-Lógico:

É necessário combater a fragilidade de bases teóricas que sustentam as intervenções!

Como é possível fazer isso?!

Basear-se na experiência.

Muito possívelmente, existe um programa similar que foi implementado com uma fundamentação lógica parecida. Pode se aprender muito com outros programas da mesma natureza.

Observando-se sempre a validade interna: “Tal programa foi construído de maneira lógica?”; “Quais são as hipóteses? Elas podem ser verificadas?”; “Os objetivos almejados podem derivar da seqüência lógica proposta?”

Construindo o Marco-Lógico:

Muito importante também é a verificação de uma validade externa: “O programa pode se aplicar a um público-alvo maior ou a outro público alvo?”

Reuniões com consultores e especialistas devem também ser feitas na etapa de construção do programa, não tão somente na etapa de avaliação. Pode-se ter uma avaliação concomitante de um marco lógico do programa.

Líderes locais, estudo de caso, survey e pesquisas anteriores auxiliam na identificação da estrutura prévia onde o programa poderá atuar. A literatura sobre determinado deve ser consultada.

Cuidado para não se prender demais. Reuniões internas da equipe interna podem ajudar a resolver problemas do marco lógico e a superar a restrição de tempo (não é preciso criar um impasse).

É preciso ter em mente que uma avaliação deve estar presente em todo o processo:

Objetivos

Metas

Ações

Indicadores

Objetivos

Metas

Ações

Indicadores

Resultados

É preciso ter em mente que uma avaliação deve estar presente em todo o processo:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

É preciso ter em mente que uma avaliação deve estar presente em todo o processo:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

É preciso ter em mente que uma avaliação deve estar presente em todo o processo:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

É preciso ter em mente que uma avaliação deve estar presente em todo o processo:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

É preciso ter em mente que uma avaliação deve estar presente em todo o processo:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

É preciso ter em mente que uma avaliação deve estar presente em todo o processo:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

É preciso ter em mente que uma avaliação deve estar presente em todo o processo:

Inclusive aquiuma das partesMais esquecidas.

A construção de um marco lógico é muito auxiliada pelos itens de planejamento.

Mas não se constitui exatamente o planejamento. Nem mesmo é um projeto do programa.

Como vimos é um conjunto de estruturas e modelos que nos permitem compreender o programa por inteiro.

Definição de público-alvo, métodos e maneiras de implementação, avaliação de recursos (Orçamentários, Humanos e de Capital), definição clara de objetivos e dos resultados.

Construindo o Marco-Lógico:

O Roteiro (Plano de Trabalho) proporcionado pelo marco lógico permite identificar também possíveis falhas do programa.

O marco lógico permite esclarecer à sociedade e planejadores (“por no papel”) tudo que os gestores do programa estão pensando.

Já o desenho do programa é a identificação de como o programa irá atuar, prevendo a cadeia de atuação da maneira mais completa possível.

Identificando possíveis incentivos contrários ao funcionamento ao programa juntamente com outros pontos críticos (como vimos na primeira parte).

Construindo o Marco-Lógico:

Restrições ao Programa:

O Programa necessita vencer etapas. Podemos enumerar quatro restrições importantes:

Restrições de orçamento: As restrições de orçamento são muito atuantes e devem constar também no marco lógico do projeto. Se a dotação de recursos é limitada deve-se adequar o programa e sua técnica de avaliação a esse limite de recursos.

Restrições de Tempo: O tempo é variável fundamental a ser considerada em diversos projetos. Ele pode ser interpretado como um "insumo" a mais necessário para as atividades virarem produtos e resultados. Na questão da avaliação, o prazo curto pode envolver técnicas de avaliação mais céleres porém não tão aprofundadas.

Restrições ao Programa:

Restrições de dados: É preciso se perguntar, a proposta desse projeto é mensurável? Como é possível medir? Existem dados? Será preciso construir um baseline? Coletar dados envolve um custo maior em tempo e dinheiro para o projeto. Os dados tem que ser úteis.

Restrições Políticas: No campo político de um projeto é preciso equilibrar as demandas e exigências da comunidade, dos executores, dos formuladores e dos avaliadores. Um projeto não pode se guiar somente pela visão de um deles (jogo de cintura).

Concluído o Marco Lógico: Uma coisa que se deve ter em mente: sempre que

possível, é importante que projeto e avaliação caminhem juntos. Uma boa política é a aquela que sabe para onde está indo e mensura sua efetividade, eficácia e eficiência.

Programa Avaliação

Concluído o Marco Lógico: Uma coisa que se deve ter em mente: sempre que

possível, é importante que projeto e avaliação caminhem juntos. Uma boa política é a aquela que sabe para onde está indo e mensura sua efetividade, eficácia e eficiência.

Programa Avaliação

Marco Lógico

Concluído o Marco Lógico: Uma coisa que se deve ter em mente: sempre que

possível, é importante que projeto e avaliação caminhem juntos. Uma boa política é a aquela que sabe para onde está indo e mensura sua efetividade, eficácia e eficiência.

Programa Avaliação

Marco Lógico

Linha de Base

Concluído o Marco Lógico: Uma coisa que se deve ter em mente: sempre que

possível, é importante que projeto e avaliação caminhem juntos. Uma boa política é a aquela que sabe para onde está indo e mensura sua efetividade, eficácia e eficiência.

Programa Avaliação

Marco Lógico

Linha de Base

monitoramento

monitoramento

monitoramento

Diagrama de Fluxo

Situação dos pais

Matrícula e freqüência escolar

Prestígio na Ocupação

Rendimentos

Diagrama de Fluxo

Situação dos pais

Matrícula e freqüência escolar

Prestígio na Ocupação

Rendimentos

+

++

+

+

+

Onde um programa irá atuar diante desse framework?

Exemplo da Aula 01:

Internet

Aprendizado

Educação

Rendimentos

Exemplo da Aula 01:

Internet

Aprendizado

Educação

Rendimentos

O Exemplo pode se tornar mais complexo:

Exemplo da Aula 01:

Internet

Aprendizado

Educação

Rendimentos

O Exemplo pode se tornar mais complexo:

Loop

Exemplo da Aula 01:

Internet

Aprendizado

Educação

Rendimentos

O Exemplo pode se tornar mais complexo: Fatores externos

O Diagrama de Fluxo é extremamente importante, ferramenta auxiliar para o Marco Lógico, ajuda na identificação da cadeia de resultados, é uma análise causal simplificada.

Davis (1985) “The Logic of Causal order” resume três idéias e dez conceitos.

4) Análise causal em pesquisas sociais depende de pressupostos sobre a direção causal;

5) Os pressupostos dependem de crenças empíricas sobre como o mundo funciona;

6) Os pressupostos não são arbitrários ou por capricho.

Detalhes do Desenho:

1) Ordenando X (explicativa) e Y (explicada): Y começa depois que X termina; X está ligado a um passo inicial em uma conhecida sequência; X nunca muda, mas Y as vezes muda (dummy); X é mais estável, difícil de mudar, ou mais profícuo.

Ordem do sistema. Se há uma caminho começando em X e retornando a X, sem rever qualquer outro passo, X e as variáveis formam um loop. Nessa caso não possuem ordem (Endogenia).

Correlação Espúria. Se uma variável antecessora possui um caminho causal em relação à variável independente, isso irá contribuir para uma relação causal entre as duas que é espúria.

Polaridades. Revertendo os pólos para uma variável muda o sinal de cada um de seus relacionamentos com as outras variáveis. Reverter o pólo de duas variáveis deixa os sinais delas inalterado.

Conceitos do Diagrama de Fluxo:

1) Regra do sinal. O sinal do caminho pode ser obtido multiplicando os sinais das flechas ou um caminho de um número não nulo flechas será positivo a não ser que ocorra um número impar de flechas.

2) Consistência. Um sistema é inconsistente se ao menos um par de variáveis possui ambos sinais dentro de seus efeitos diretos, indiretos ou espúrios. De outra maneira, ele é consistente. Se um sistema é consistente todas as setas negativas podem ser obtidas revertendo as polaridades.

3) Controle. Ao estimar o efeito de Xi em Xj, controle todas as variáveis precedentes intervenientes – isto é, controle todas as variáveis não consequentes para Xj.

4) Explicação. Uma variável de teste, Xt, explica XiXj quando de XiXj bivariada é diferente de zero, e a parcial XiXj, controlada por Xt, é zero ou muito pequena.

5) Análise de Efeito. Sendo XY apresentando uma relação bivariada parte causal e parte espúria, é possível descobrir o que é a parte espúria (controlando se os demais fatores) e qual a fração que cabe às variáveis intervenientes, variáveis antecessoras explicativas que possuem relação causal.

6) Caminho. Em um sistema linear o efeito casual total de Xi sobre Xj é a soma de todos os valores de todos os caminhos de Xi para Xj.

Conceitos do Diagrama de Fluxo:

Conclusões:

O Marco Lógico e a construção do desenho do programa envolvem métodos.

Constrói-se uma lógica definida que auxilia a justificativa do programa e seu direcionamento e correção de rumo. O desenho ajuda identificar situações de lógica circular.

Verificar sempre a validade interna e externa.

Construir o baseline e auxiliar na avaliação, inclusive identificando quais são os melhores métodos para se avaliar o programa: Quantitativos, Qualitativos ou mistos.