Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,

Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação

Professora Patricia RogersBetterEvaluationRoyal Melbourne Institute of Technology, Melbourne, Australia

Avaliação para a estratégia organizacional do investimento social privado

A essência das teorias da mudança

Estou quebrando

pedras

http://img359.imageshack.us/img359/7104/picture420bt2.jpg

Estou construindo um templo

2 Evaluation for public sector managers

O que é a teoria da mudança?

A teoria (ou lógica ou modelo)

sobre como uma intervenção (projeto, programa, política, estratégia)

contribui para os resultados pretendidos ou observados


Teoria da mudança

Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes:

Teoria da mudança

O processo pelo qual a mudança ocorre (quer no indivíduo, organização ou comunidade)

Teoria da ação Como a intervenção é construída para ativar a teoria da mudança

Algumas definições básicas

Teoria da mudança Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes:

Teoria da mudança

O processo pelo qual a mudança ocorre (para um indivíduo, organização ou comunidade)

Teoria da ação Como a intervenção é construída para ativar a teoria da mudança

Modelo lógico Uma representação visual de uma teoria de programa, em geral no formato de um diagrama, mas às vezes pode ser uma tabela

Algumas definições básicas

Que tipo de teoria?Qualquer espécie de modelo causal que vincula a intervenção com

determinados resultados

Poderia basear-se em :

Uma teoria formal, embasada na pesquisa (uma teoria com T maiúsuclo), ou

Premissas informais, tácitas, não verbalizadas apoiadas por profissionais (uma teoria com t minúsculo)

A teoria precisa incluir uma explicação sobre como as atividades do programa contribuem para os resultados - e não apenas listar as atividades, seguidas dos resultados, sem qualquer explicação sobre de que modo um se liga ao outro a não ser por algumas setas misteriosas.

Quatro questões importantes ao usar as teorias da mudança na avaliação

1. Articular uma teoria da mudança que seja explícita

2. Ter uma teoria da mudança plausível

3. Apresentar a teoria da mudança com clareza

4. Usar a teoria da mudança na avaliação

7

8

1.Articular uma teoria da mudança

explícita

Análise situacional Teoria da mudança

Teoria da ação Resultados pretendidos

Reprimir (evitar uma interação

negativa)

Gritar Quarto arrumadoCortar a mesada

Incentivo Positivo Entradas para o cinema

Elogios

Programa da teoria da atuação dos pais

Teorias de mudança e teorias de ação para a atuação dos pais

Análise Situacional Teoria da ação teoria da mudança Resultados esperados

Um quarto arrumado

Reprimir - evitar uma interação

negativa

GritarCortar a mesada

Oferecer uma recompensa

(dinheiro, entradas para o cinema) Incentivo Positivo

Elogiar os esforços

Maneiras de representar as teorias de mudança1. Pipeline – insumos-atividades-produtos-resultados-

impactos

2. Cadeia de resultados – uma cadeia de resultados (atividades mostradas separadamente em uma matriz lógica do programa)

3. Coluna Tripla - uma cadeia de resultados com atividades e outros fatores mostrados em colunas separadas

4. Matriz realista

5. Narrativa


Modelo lógico de Pipeline


Modelo lógico de Pipeline

INPUTSAlunos de

escolas de baixa renda

Laboratório de computação

ComputadoresInstrutores

Informações sobre cursos superiores

PROCESSOCursos de softwares

Apoio ao alunoDesenvolvimento

profissionalAmbiente

universitárioProjetos coletivos

EstágiosParcerias com

escolas de ensino médio

RESULTADOS DE CURTO

PRAZOHabilidades

ConhecimentoAspirações/

confiança

IMPACTOSRealização educacional

Êxito ocupacionalLiderança

comunitária/Modelos a

serem seguidos

Based on : Nelson and Bickel (2003) Infolink Program Teoria,

http://itclass.heinz.cmu.edu/infolink2003/InfoLink03/docs/ProgramTeoria.pdf


http://itclass.heinz.cmu.edu/infolink2003/InfoLink03/docs/ProgramTheory.pdf

14

Narrativa da teoria da mudança

O projeto de computação funciona com alunos que possuem alto desempenho acadêmico, vem de comunidades carentes e não têm acesso a computadores.

A medida em que os alunos adquirem habilidades básicas em TI, abrindo oportunidades para estágios, eles desenvolvem uma imagem nova a respeito de seu futuro possível.

Ao mesmo tempo, estão criando uma comunidade solidária de alunos, que abre um espaço seguro para o aprendizado e para elaborar e colocar em prática planos ambiciosos para sua educação e carreira futura.

Modelo lógico da cadeia de resultados

Aumento das habilidades em

computaçãoMelhor desempenho escolar em matérias

tecnológicas Aumento na taxa de inscrições em

cursos sobre computação

oferecidos em universidades

Maior realização ocupacional

Aumento no índice de

graduados com diplomas em computação

Aumento da motivação

Redes sociais solidárias

Conhecimrnto de possíveis opções de

cursos superiores


Aumento nas habilidades

em computação

Melhor desempenho

escolar emmatérias

tecnológicas

Aumento da taxa

de inscriçõesem cursos superiores

emcomputação

Maior número de

graduações com

diplomasem

computação

Maiorrealização

ocupacional

Aumento na motivação


Conhecimento deopções de

cursos superiores


A teoria da ação pode ser abordada em uma matriz lógica

Cursos deverão

Distribuirmateriais,aconse-

lhamento 1:1

Ajuda com as

inscrições

Apoio acadêmico e pessoal

Mostrando atividades numa matriz lógica de programa

O que representa o sucesso

Que atividadescontribuem diretamente para isso

Outros fatoresque dão conta disso

Aumento das habilidades em computaçãoPossíveis indicadores, fontes de dados, comparações

Maior motivação

(Possíveis indicadores, fontes de dados, comparações)

Melhor desempenhoescolar em matériastécnicas

(Possíveis indicadores, fontes de dados, comparações)


Matriz da Realidade

Contexto Mecanismo Resultado

Alunos provenientes de ambientes de baixa renda, motivados, com alta competência

Atingir um determinado nível de competência e conhecimento em computação

Matrícula bem sucedida em cursos de computação

Alunos provenientes de ambientes de baixa renda, com dificuldades de aprendizado e/ou problemas de comportamento

Mecanismo não ativado Destino educacional inalterado


9

A pesquisa mostra:

Comer uma maçã por

dia melhora a saúde

Como desenhar um projeto

baseado nisto?

Como uma teoria de programa pode melhorar

a nossa avaliação?

19

Funnell and Rogers Purposeful Program Teoria 9

Você tem 10 minutes para desenhar um projeto para melhorar a saúde das pessoas através da “ingestão de

uma maça por dia”

Evaluation for public sector managers20

9

Quais as premissas sobre o que constitui o problema?

Qual a teoria sobre como mudar o comportamento das pessoas (convence-las comer maças)

Qual a teoria sobre como maças iriam fazer você mais saudável?


10

10

Vitamina CNíveis adequados

de vitamina C

Poderia usar laranjas. tendo como alvo a

deficiência de Vitamina C

Reduzir a incidência de escorbuto

Quercetina Níveis de quercetina aumentados

Poderia usarcebolas roxas.

Reduzir a incidência decancer,

doenças cardiacas e inflamatórias da

próstata

Substituição

Diminuição do consumo de

lanches/alimentos pouco

nutritivos

Poderia usar cenouras

tendo como alvo a obesidade.

Reduzir a incidênciade obesidade e

doenças correlatas

RECURSOS

MaçasPessoas pouco

saudáveis

RESULTADOS

IMEDIATOSMaças

comidas

RESULTADOS DE CURTO PRAZOMelhor estado

nutricional

RESULTADOS DE

LONGO PRAZOSaúde melhor

Entendendo mecanismos causais operando em contextos

Evaluation for public sector managers

Funnell and Rogers Purposeful Program Teoria 9

O que estas diferentes teorias de programa podem significar para o modo como deveríamos descrever

ou mensurar “maças comidas”?


Múltiplas teorias de mudança e teorias de ação

Informação

Menor consumo dealimentos

não nutritivos

Redução na incidência deobesidade e

doenças correlatas

Anúnciosque promovem o

consumo de maçãs

Impostos mais altos para

alimentos não nutritivos

Regulamentações que restringem os tipos de alimento

vendidos em máquinas automáticas

Substituição

Incentivo

Disponibilidade

Lembretes

Normas Sociais

RESULTADOS DE CURTO PRAZOMelhor estado

nutricional

RECURSOSMaças

Pessoas com saúde precária

RESULTADOS IMEDIATOS

Maças comidas

RESULTADOS DE LONGO

PRAZOSaúde melhor


25

2. Ter uma teoria da mudança plausível

26

Análise situacional

• Quais são as necessidades que a intervenção deve dar conta?

• Qual é o problema que a intervenção deve solucionar? O que causa esse problema?

• Em que pontos fortes a intervenção deverá se apoiar?

• Quais as oportunidades nas quais a intervenção deveria capitalizar?

• Quem mais está abordando essa situação? Existem aliados ou opositores em potencial?

• Até que ponto a situação é bem compreendida?

• Até que ponto a situação pode ser mudada?

27

Como pode ser desenvolvida uma teoria de mudança?

Uma combinação de:

Abordagem dedutiva – a partir de pesquisas anteriores, políticas estabelecidas, arquétipos de programas, análises lógicas

Abordagem indutiva – a partir de observações diretas (ou feitas por outras pessoas) sobre como o programa de fato funciona

Articulação dos modelos mentais de pessoas ou grupos interessados (stakeholders) a respeito de como o programa funciona.

Um trajeto conhecido

Linear

Não necessariamente fácil

Simples

What sort de mudança trajectory does your intervention have?

Um trajeto conhecido

Experiência e colaboração necessárias

Complicado

Que tipo de mudança de trajetória sua intervenção possui?

Um trajeto emergente

Adaptabilidade e capacidade de aprender

ao fazer

Complexo

Que tipo de mudança de trajetória sua intervenção possui?

Aproveitando as teorias baseadas em pesquisa

31

The COM-B system - a framework for understanding behaviour.Michie et al. Implementation Science 2011 6:42 doi:10.1186/1748-5908-6-42

32

The Behaviour Change Wheel.Michie et al. Implementation Science 2011 6:42 doi:10.1186/1748-5908-6-42

Algumas teorias de mecanismo causal baseado em pesquisas

MUDANÇA A NÍVEL INDIVIDUAL

• Atribuição (Heider, 1958)• Condicionamento clássico e

condicionamento operante(Pavlov, 1960; Skinner, 1953)

• Dissonância cognitiva (Festinger, 1957)

• Teoria da repressão (Homel, 1988)• Teoria da diversão

(http://www.thefuntheory.com/)• Modelo da crença na saúde

(Rosenstock, 1966; Glanz et al., 2002)

• Modelo PRECEDE-PROCEDE (Green and Kreuter, 2005)

• Auto-eficácia (Bandura, 1997)• Profecia auto-realizada (Merton,

1968)• Aprendizado social (Bandura, 1977)• Teorias de redes sociais e da

solidariedade social (Eng and Young, 1992)

• Treinamento (Kirkpatrick, 1959)

MUDANÇA NO NÍVEL ORGANIZACIONAL

• Groupthink (Janis, 1972)

• Organizational learning (Argyris and Schön, 1978)

• Positive deviance (Pascale, Sternin, and Sternin, 2010)

• Six change approaches (Kotter and Schlesinger,1979)

MUDANÇA NO NÍVLEL DA COMUNIDADE• Bandwagon effect (Bikhchandani, Hirshleifer, Welch, 1992)

• Institutional analysis and development (Ostrom, 2008)

• Social loafing (Karau and Williams, 1993)

• Strength of weak ties (Granovetter, 1973)

• Tipping points (Gladwell, 2000)

• Tragedy of the commons (Hardin, 1968; Senge, 1990; Ostrom, 1999)

Algumas teorias de mecanismo causal baseado em pesquisas

Algumas toerias de mecanismo causal baseadas em pesquisas

• MUDANÇAS DE POLÍTICAS

• Advocacy coalition framework (Sabatier and Weible, 2007)

• Garbage can model (Cohen, March, and Olsen, 1972)

• Incrementalism model (Lindblom, 1959)

• Institutional rational choice (Ostrom, 1999a)

• Multiple streams framework (Zahariadis, 1999)

• Policy diffusion (Berry and Berry, 1999)

• Policy networks (Marsh, 1998)

• Punctuated equilibrium teoria (Baumgartner and Jones, 1993)

Algumas teorias possíveis do mecanismo causal para o desenvolvimento

Mecanismos causais sobre a tecnologia (inclusive práticas comprovadas)Aumentar os incentivos para aplicar a tecnologia existenteRemover barreiras para o acesso efetivo à tecnologiaAdaptar a tecnologia existente para poder ser eficaz em uma situação novaDesenvolver nova tecnologia

Mecanismos causais sobre capacidadeAumentar a capacidade específica para realizar uma função específica (capital humano, capital

social, capital organizacional, capital econômico)Aumentar a capacidade para melhorar a resiliência (especialmente a capacidade das redes

colaborativas)

Mecanismos causais sobre a contribuição para um processo de mudança complicadoPreencher uma lacuna – colocar a última pecinha – “a pecinha que faltava” no quebra-cabeçasRemover um obstáculo (versão ligeiramente diferente de preencher a lacuna): “a pedra no caminho’

Mecanismos causais sobre a governançaRepressão (aumentar os riscos de sanções por comportamento negativo)Aumentar a capacidade (aumentar a habilidade de gerir bem)

Mecanismos causais sobre advocacyDemonstrar a viabilidade e efetividade de uma nova abordagem

Perguntas para extrair dos participantes suas teorias de mudança(Exhibit 6-1 Funnell and Rogers, 2011, Purposeful Program Theory)• Poderia me dar um exemplo de onde esse programa está dando certo?

• Por que escolheu esse exemplo? O que você acha que está fazendo o programa dar certo?

• De que modo a vida seria melhor para os participantes ou o público-alvo, caso o programa funcione?

• Quais são as barreiras atuais que impedem os participantes do programa de terem uma boa vida?

• Como você acha que esse programa vai superar essas barreiras?

• O que há, na maneira como esse programa opera, que poderia tornar a vida melhor para os participantes ou o público-alvo?

• O que o programa atualmente faz que o ajuda a dar certo e o que não faz tão bem?

• O que mais precisa acontecer?

• Quem mais deveria estar envolvido, e como?

• O programa tenta influenciar estas outras pessoas? Em caso positivo, o que você esperaria que eles fizessem de maneira diferente?

Estratégias para garantir uma teoria da mudança adequada

1. Faça uma análise situacional antes de desenvolver a teoria de mudança para um programa novo

2. Use uma diversidade ampla de fontes, inclusive críticos do programa

3. Verifique os fatores atípicos e as exceções, confrontando-os com a teoria de mudança inicial.

4. Aborde os aspectos complicados e complexos da intervenção

38


40

3. Represente a teoria da mudança com clareza

Como fazer um bom modelo lógico?

1. Seja lógico e coerente• Cada seta deve ter um significado• Indique o rumo da mudança esperada• Evite becos sem saída

2. Comunique as mensagens principais• Evite excesso de linhas; não use linhas de feedback

indiscriminadamente• Evite padrões excessivamente detalhados (salvo em raros casos)• Elimine tudo o que não acrescenta significado• Garanta a facilidade de leitura• Evite “palavras gatilho” e siglas misteriosas

Rogers Using programa teoria and logic models in evaluation

41

Exemplos ruins de modelos lógicos


42



43



44

45

4. Use a teoria da mudança para o planejamento,

monitoramento e avaliação

PLANEJAMENTO

1. Planejar/alinhar um novo programa/intervenção com um marco estratégico

MONITORAMENTO E AVALIAÇÃO

2. Monitoramento das correções adicionais feitas pelos gerentes e pelo staff

3. Monitorando para prestar contas aos financiadores e outros stakeholders

4. Avaliação do processo para apoiar a melhoria contínua

5. Avaliação de processo para documentar uma inovação

6. Avaliação do impacto

GESTÃO

7. Proporcionar ao staff, financiadores e clientes uma compreensão comum

8. Informar decisões de investimento

ELABORAÇÃO DE POLÍTICAS E PRÁTICAS BASEADAS EM EVIDÊNCIA

9. Apoiar a replicação

10. Desenvolver a base de evidências através de múltiplas avaliações ou fontes

46

Alguns usos possíveis para a teoria de programa

47

USO DA TEORIA DE PROGRAMA PARA AVALIAÇÃO

Medir e descrever – quais os dados necessários, que análises devem ser feitas?

– Recursos usados

– Processos

– Contexto

– Outros fatores que contribuem

– Resultados (imediatos, intermediários, subsequentes)

Análise Causal

– A intervenção produziu o resultado?

– A intervenção contribuiu para o resultado?

– O que mais contribuiu para o resultado?

Síntese e relatório

– Combinar evidências para uma única avaliação

– Relatar a cadeia de resultados

– Descrever os efeitos diferenciais

– Combinar evidências de diversas avaliações

1. Monitoramento – das correções adicionais feitas pelos gerentes e staff– da prestação de contas perante financiadores e outros

stakeholders

2. Avaliação do processo para – Verificar a aderência (compliance)– Apoiar a melhoria contínua– Documentar uma inovação

3. Avaliação do impacto para – testar um piloto antes de levar o programa à escala– Compreender o valor do programa existente, em larga

escala, e em andamento

4. Sintetize para – Compreender o efeito médio de várias avaliações– Compreender o efeito em contextos diferentes

Maneiras de usar a teoria da mudança para a avaliação

49

Usando uma matriz lógica de programa

Para cada resultado pretendido, identifique:

• O que poderia ser considerado como “sucesso”

• Quais atividades contribuem diretamente para esse resultado

• Que outros fatores parecem contribuir para esse resultado – e se estes podem ser influenciados ou gerenciados de alguma maneira

• As fontes possíveis de evidência

• Como interpretar essas evidências – particularmente, que comparações são adequadas (ex: linha de base, benchmark, padrões, ou objetivos)

Aumento nas habilidades

em computação

Melhor desempenho

escolar emmatérias

tecnológicas

Aumento da taxa

de inscriçõesem cursos superiores

emcomputação

Maior número de

graduações com

diplomasem

computação

Maiorrealização

ocupacional

Aumento na motivação


Conhecimento deopções de

cursos superiores



Cursos deverão

Distribuirmateriais,aconse-

lhamento 1:1

Ajuda com as

inscrições

Apoio acadêmico e pessoal



Maior taxa de inscrições em cursos superiores

O que representa sucesso?

Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações)

Quais atividades contribuem diretamente para isto (se houver)?


Que outros fatores incidem? (Controle/influência Interna/externa?)


52

Algumas variações de modelos lógicos

Modelos Pipeline

• Modelo “Recursos-Processo-Produtos-Resultados”

• Hierarquia de Bennett

• Adaptação Wisconsin do Modelo Pipeline

• Log frame

• Modelos lógicos circulares

Cadeias de resultados

• Hierarquia de resultados

• Lógica de programa centrada nas pessoas

• Coluna tripla

53

Falha da implementação, da teoria ou foi alguma outra coisa?

Resultado Saúde melhorou

Saúde não melhorou

TOTAL

Maçãs comidas 27 0 27

Maçãs não comidas

3 970 973

TOTAL 30 970 1000

54


Resultado Saúde melhorou


TOTAL

Comeram as maçãs 27 970 997

Não comeram as maçãs

0 3 3

TOTAL 27 973 1000

55


Resultado Características dos clientes Maçãs comidas

Maçãs não comidas

TOTAL

Saúde melhorou

Afetados por doenças relacionadas à nutrição

27 0 27

Afetados por outras doenças 0 0 0


Afetados por doenças relacionadas à nutrição

0 3 3

Afetados por outras doenças 970 0 970

TOTAL 997 3 1000

Estratégias para usar a teoria da mudança na avaliação

1.Esclareça o tipo de avaliação

2.Use uma matriz lógica do programa para identificar os dados relevantes a serem coletados

3.Use a teoria da mudança para analisar os dados

56

Documents

Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,