Aula 9_T.ppt.pdf

7/30/2019 Aula 9_T.ppt.pdf

1/68

Mestrado em Psicologia Social e Organizacional2012/2013Sibila Marques


2/68

Devemos estipular quais os factores em que devemos trabalhar nainterveno:

1) Identificmos o problema: principais grupos-alvo2) Definimos as variveis resultados3) Fazemos o modelo de processo4) Identificmos quais os factores mais importantes em que temosde actuar

5) Pensmos como fazer a interveno: canais, mtodos,estratgias. Planear os recursos humanos, o tempo, os custos e osriscos envolvidos

6) Desenhmos o modelo lgico do programa

E agora...

7) Definir aAVALIAO com base no modelo lgico


3/68

O que a avaliao de programas?

a recolha sistemtica de informao acerca das actividades, caractersticase resultados de forma a permitirem fazer julgamentos acerca do programa,

melhor-lo, aumentar a sua eficincia e tomar decises acerca de futura

programao.

Tomada de deciso e melhoria da qualidade deve privilegiar-se a abordagem da avaliaofocalizada na utilizao(Patton, 1997) e no numa abordagem de avaliao geral: a avaliao

deve ser desenhada para responder a questes especficas levantadas por aqueles que so

responsveis pelo programa, para que a avaliao seja til para afectar o futuro do programa.


4/68

que a avaliao de programas? Aceita-se que a avaliao uma estratgia til de aprendizagem para

melhorar o conhecimento sobre a lgica subjacente ao programa, assim

como os seus resultados prticos.

MUITO IMPORTANTE!

A avaliao no deve avaliar apenas os resultados obtidos pelo programa, mas

tambm identificar formas de melhorar o programa.


5/68

Dois componentes (Johnson & LaMontagne, 1994):

(1) A avaliao formativa orientada para o aperfeioamento do programa Os

dados servem para intensificar a implementao do programa, resolver

problemas novos e assegurar que os participantes esto a atingir os

resultados esperados (Patton, 1997).

Ex: avaliar as decises relacionadas com os objectivos do programa para

alterar ou implementar mudanas (avaliao das actividades realizadas).

Ou seja,

Monitorizar o processo


6/68

(2) A avaliao somatria orientada para o julgamento do programa a

avaliao focaliza-se no mrito, trabalho ou valor do programa. Abordagem

que envolve a definio de critrios e standards para determinar o impacto

do programa nos clientes, na comunidade, custo-eficincia e

responsabilidade (Scriven, 1996).

Ou seja, ter em conta dois aspectos:

Determinar se o programa foi implementado como foi desenhado (fidelidadee integridade das variveis independentes);

Analisar os resultados obtidos com o programa (atribuem-se s variveisindependentes?)


7/68

Avaliao formativa -Improve

Avaliao somatria -Prove

Providencia informao queajuda a melhorar oprograma

Gera resultados que podemser utilizados parademonstrar a mais-valia doprograma aos financiadorese comunidade

Foca-se mais na avaliaodas actividades e nosresultados de curto prazocom o propsito de irmonitorizando o projecto e

propor correces

Foca-se nos resultados alongo prazo e nos impactos.Embora os dados possamser recolhidos ao longo doprograma o foco na

determinao do valor doprograma

Ajuda a gerar sugestesque permitem melhorar oprograma ao longo dotempo

Ajuda a descrever aqualidade e a eficcia doprograma documentando oseu impacto na comunidade


8/68

Mas existem mais modelos (Scriven, 1991; Owen & Rogers, 1999; Rossi et al,

1998)

(3) A avaliao de Processo orientada para examinar comparativamente os

servios criados e os programados.

(4) Avaliao descritiva orientada para a descrio detalhada dos programas,

por isso a sua implementao pode ser comparada e replicada.

(5) Avaliao da monitorizao da realizao analisa o sistema de medidas, o

feedback das operaes do programa e os resultados.

(6) Anlise da implementao de um sistema/servio depois de ter sido

formulado e implementado num determinado contexto.


9/68

Para que serve a avaliao?Ajuda a desenhar os programasValida programas e os seus resultados Gera informao que assegura uma implementao de programas bem

sucedida

Melhora as operaes do programa de forma continuada Fornece feedback que guia as politicas de interveno social Demonstra o valor do programa


10/68

Questes necessrias para agendar uma avaliao (Hatry, Winnie, &

Fisk, 1981; Wholey, 2004)

1. Os avaliadores e os promotores esto de acordo em relao aos objectivose critrios de realizao que vo ser usados?

2. Os objectivos do programa so realistas dado o programa desenhado, osrecursos existentes e as actividades disponveis?

3. Pode a avaliao ser feita em tempo til?

Esto os dados disponveis?Quanto tempo demora a recolher os dados necessrios para responder s

questes levantadas? A informao pode ser obtida a um custo razovel?


11/68

4. Podem os resultados da avaliao influenciar as decises acerca do

programa?

As decises so acerca da continuao, modificao ou fecho do programa?

O programa tem suporte suficiente de forma a que seja pouco provvel que

acabe? Pode haver mudana em funo da avaliao?

5. O programa merece ser avaliado?

O programa implica uma grande quantidade de recursos?

A realizao do programa alternativa (marginal)?

Existem problemas com os recursos do programa?

um programa piloto com potencial de expanso?


12/68

Etapas chave para a avaliao ser possvel

(1)Envolver os decisores polticos, responsveis e equipaAvaliar as suas expectativas, confront-las com o programa real e explorar

as implicaes de possveis mudanas nos objectivos e actividades do

programa.


13/68

(2) Clarificar, entre promotores, a ideia sobre a inteno do

programa

Pode haver uma estratgia deliberada na descrio vaga dos programas.

Para que o programa possa ser avaliado:

Clarificar as relaes entre inputs, actividades e resultados dos diferentes

intervenientes.

Clarificar os objectivos do programa, expectativas, relaes causais,

necessidade de informao, prioridades chave dos clientes, indicadores de

realizao, tipos de evidncia etc


14/68

Usar duas fontes de informao:

(a)Documentao do programa (legal, estudos de avaliao, etc.)(b)EntrevistasProduzir dois tipos de produtos:(a)Modelo lgico(b)Lista de indicadores de realizao que podem servir para a avaliaoOs avaliadores no desenham o programa, eles recolhem dados

(documentao relevante e entrevistas) para analisarem as relaes domodelo pelos diferentes actores.

Asseguram que o desenho do modelo aceitvel para se comear a realizar

uma avaliao.


15/68

(3) Observar o programa

Estipular a possibilidade de medir o nvel de realizao do programa e a

probabilidade dos objectivos serem atingidos com vista a poder:

Planear e desenhar a avaliao.

Utilizar como fontes de informao:

Documentao Informao dos promotoresComparar os objectivos com os inputs, actividades e resultados actuais;

identificar problemas que inibem a realizao e identificar medidas de

avaliao.


16/68

(4)Acordar sobre mudanas no programa

A partir da anlise da informao recolhida nas 3 fases anteriores, examinam-

se as implicaes do que foi conseguido (aprendido) e exploram-se opes

de mudana e de melhoramentos no programa antes de este vir a ser

avaliado.

(5) Explorar desenhos de avaliao alternativos

Que dados vo ser recolhidos

Que anlises vo ser realizadas

Custos, Calendrio

(6)Acordo sobre as prioridades da avaliao e utilidade da

informao obtida


17/68


18/68


19/68

Como Porqu

Recursos Actividades ProdutosCurtotermo

clientes Mdiotermo

Longotermo

Programa Resultados do Programa

Modelo Lgico Bsico


20/68

Os exerccios que realizaram....


21/68


22/68


23/68

Porque bom ter um bom modelo

lgico do nosso programa?


24/68


25/68

Not only will a logic model clarifyeach element of your program, it willenable you to respond to thequestion:

TO WHAT DO I WANT TO BE HELDACCOUNTABLE?

The evaluation forum (1999)


26/68

Como Porqu

Recursos Actividades ProdutosCurtotermo

clientes Mdiotermo

Longotermo

Programa Resultados do Programa

Modelo Lgico Bsico

Avaliao formativa Avaliao somatria


27/68

Recursos:

Salas seaulas

Alunos

Activ:

Tutoriasobre

idadismo

Produtos:

Curso deformao

Manual

Res CP:

Informaes sobrepessoasidosas

Res MP:

Mudanaatitudesidadistas

Res LP:

Sociedademenosidadista

Eramprecisos

maisrecursos?

Astutorias

corrrerambem?

Como compostoo curso?

O manual fcil?

Os alunossabemmais

sobrepessoasidosas?

Asatitudes

so maispositivas?

Osportugueses somenos

idadistas?

Avaliao

UM EXEMPLO

Programa: tornar a sociedade portuguesa menos idadista: a educao das crianas


28/68

Como se pode pensar na avaliao?

No se precisa de avaliar todos osaspectos

Tm de se fazer escolhas dequais so os aspectos maisimportantes a avaliar!


29/68


30/68

Mtodos de avaliao dos programas - o que devemos ter em ateno:(A)A monitorizao continua da qualidade do programa(B)A demonstrao da eficcia do programa(C) Determinar a eficcia e a eficincia de um programa


31/68

(A) A monitorizao continua da qualidade do programa

Medidas

Escalas globais so preenchidas pelos tcnicos, so rpidas e eficazes e so

aplicadas numa primeira fase e num contacto subsequente com todos osclientes; do uma medida de mudana e de comparao;

Satisfao do cliente so preenchidas por email, telefone, entrevista ou

contacto e podem ser obtidas ao longo do tempo.

Apresentam alguns enviesamentos: incluir somente clientes satisfeitos ou

insatisfeitos; relatarem o que esperado; haver diferenas sistemticas em

grupos iniciais


32/68

(A) A monitorizao continua da qualidade do programa

Questes:

a) Avaliaes feitas pelos tcnicos podem ser enviesadas

b) As medidas globais podem no evidenciar mudanas especificas nos clientes

c) Os resultados a longo termo podem no estar relacionados com mudanasobtidas no servio

d) No haver grupo controle pode no evidenciar que as mudanas se devem

ao tratamento

e) As medidas do fim do programa podem confundir eficcia com durao doservio

f) A avaliao de qualidade com uma amostra pequena pode no representar

adequadamente os resultados da populao que recebeu o tratamento


33/68

B) A demonstrao da eficcia do programa

Usar resultados de investigao anterior

Usar informao sobre a mudana do cliente obtida de forma rotineira

Desenvolver e usar comparaes normativas

Isto envolve definir: a) a populao alvo; b) a modalidade de servio; c) a

seleco da amostra de clientes; d) o tempo da avaliao; e) os

instrumentos de medida; f) as pessoas que fazem a avaliao.

Ver as mdias e as varincias entre os grupos


34/68


35/68


36/68


37/68


38/68


39/68

SOLUO: ESTUDOS QUASI-EXPERIMENTAIS


40/68


41/68


42/68


43/68


44/68


45/68

Questes para o planeamento da avaliao da eficciaSeleccionar o servio de comparao

Seleccionar os sujeitos

Consentimento

Descrio da amostra

Descrio dos servios prestados

Seleco das variveis predictoras

Seleco das medidas do resultado

Anlise dos resultados

Feedback dos resultados e processo de tomada de deciso


46/68

Seleco do servio de comparao ter em conta: A) a relevncia do

objectivo da comparao; B) e a oportunidade de seleccionar uma amostra

capaz, obtendo o numero de sujeitos pretendidos e limitar o enviesamento

do processo

A) Servio de comparao

1) Listar as opes2) Identificar os objectivos do programa sobre as quais vo ser julgados e

avaliar a importncia desses objectivos

3)Avaliar a probabilidade de cada um dos servios tendo em considerao osobjectivos do programa


47/68

B) Seleco da amostra

No se devem comparar muitos grupos (mais de trs muito)

O tamanho da amostra depende de dois factores:

1) O tamanho do efeito2)A variabilidade dos resultados intra grupos que esto a ser comparados.

Quanto mais pequena for a diferena no resultado entre as estratgias do

servio e maior for a varincia dos resultados entre clientes dum grupo

maior a amostra tem de ser.

Mnimo 20 sujeitosA pool de sujeitos dever ser trs vezes maior do que a amostra necessria


48/68

Determinar a eficcia - medida em que as actividades planeadas foramrealizadas e conseguidos os resultados planeados de acordo com os

requisitos iniciais;

Mas tambm:

Determinar a eficincia - relao entre os resultados obtidos e os recursosutilizados.

C) Determinar a eficcia e a eficincia de um programa


49/68

Os diferentes sistemas de

monitorizao de projectos e deprogramas


50/68

O sistema de medidas de realizao so ferramentas de avaliao descritivas

que complementam, informam e suportam metodologias de avaliao

rigorosas.

Tipos de medida de realizao: que indicadores esto disponveis e

podemos usar?

Recursos (quantos e que recursos foram gastos?)

Outputs (medidas do que foi produzido. Ex: quantos clientes foram atendidos?)

Produtividade (produo de outputs por unidade de um recurso especifico por

hora; ex: o numero de clientes atendidos por um psiclogo de orientao

vocacional por hora)

Eficincia. Rcio do output por euros. Custo de um determinado output ou

servio dado a um cliente (ex: custo por crime investigado. Mede os custosdo processo).

Qualidade do servio. medida por indicadores do processo (ex: tempo de

espera, n de erros, queixas) mas tambm pode ser avaliado pela qualidade

dos outputs.Comparao com um standard.


51/68

Outcomes (em que grau o programa eficaz a produzir os resultados

esperados. Requer muitas vezes follow-up depois do programa terminar)

Custo beneficio. Est relacionado com as medidas do custo dos resultados

(outcomes). Ex: custo por crime resolvido)

Satisfao do cliente. Pode estar relacionada com a qualidade e eficincia do

servio, mas dever ser uma medida independente.

Qualidade das medidas (medidas compreensveis e com significado,accionveis e ajustadas ao tempo, centradas nos objectivos e quetenham em considerao o custo e a praticabilidade)


52/68


53/68

Abordagem das duas etapas para implementar a avaliao:

(A) Modelo cronolgico para desenvolvimento de um programa (Berk & Rossi,1999).

4 fases:

Fase 1 Avaliar as necessidades e a praticabilidade (necessidades do grupo,que programas foram implementados para dar resposta, quais as boasprticas na rea, que recursos so necessrios, entre as alternativas, qual amelhor escolha?)

Fase 2 Planear e desenhar o programa (qual a teoria do programa paraatingir os resultados esperados, o que necessrio fazer para tornar ateoria eficaz, o contexto de implementao do programa suporta ouimpede o desenho do programa, que aspectos do programa desenhadonecessitam de modificao para se atingirem os resultados, como semonitoriza?).


54/68

Fase 3 Criar o programa (o programa serve o grupo, os clientes iro desistir,

porqu, est a ser implementado como foi desenhado, est a produzir os

produtos, tem qualidade, resultados a curto termo, que obstculos?)

Fase 4 Melhorar o programa (atingiu objectivos e alvos, existem os resultados

esperados, existem resultados no esperados (negativos e positivos),

acontecimentos internos ou externos, foras e constrangimentos, o que

que tem de melhorar, os esforos resultaram?).


55/68

(B) Seleccionar um conjunto de mtodos prticos para avaliar cada fase

Fase 1 Reviso de literatura

Entrevistas a experts sobre implementao de programas na rea

Fase 2 Modelo lgico do programa

Template do programa (racional, misso e objectivos, estrutura

organizacional e plano de implementao do programa).

Hierarquia de resultados (definir uma teoria para o programa,

traduzir uma teoria num programa para poder analisar/relacionar os

resultados com a teoria, seleccionar medidas, definir resultados a curto,

mdio e longo prazo).


56/68

Categoria Descrio dos contedosProblema Descrio do problema em

que se baseia o programa

O grupo-alvo Definio clara do grupoalvo

Misso do programa

O modelo lgico Deve colocar-se o desenhodo modelo lgico

A estrutura organizacional Os recursos humanos

Os resultados de curto elongo prazo

Comece pelos resultados delongo prazo e depois poraqueles de curto prazo

O plano de avaliao doprograma

Como est a ser avaliado osucesso do programa?


57/68

Hierarquia de resultados Assunes de validade

1. Resultados curto-prazo

recrutar mentores Nmero de mentoresaconselhvel

2. Resultados intermdiosassinatura do contrato

com o mentor importante estabeleceruma relao formal para osucesso da interveno

3. Resultados de longoprazo

os menores aceitam aautoridade dos mentores

A mudana no programaexige que os menoresaceitem a autoridade dasfiguras adultas


58/68

Fase 3 Anlise de cobertura (aceitao, participao e seleco do grupo)

Anlise de componentes ( relao entre as operaes do programa e

os resultados para cada componente do programa referncia, seleco,

incluso, avaliao, tratamento e follow-up)

Registo do programa (processos dos clientes e dados administrativos,

formas de actividade tipo, durao, intensidade, unidades de servio).

Estudo de caso (integra informao quantitativa e qualitativa, de vrias

fontes e em profundidade sobre a implementao do programa, o contexto

organizacional e o meio envolvente).


59/68

Fase 4 Modelo do servio criado (diagrama que descreve as actividades chavedo programa criadas para atingir os resultados positivos esperados).

Feedback do cliente (focus, papel e lpis, entrevistas sobre as

expectativas e resultados atingidos)


60/68

Referncia deamigos, pais

Refernciadas escolas,

serviosjuvenis

Recrutamentodos jovens

(60)

Os jovensparticipam

(50)

Os jovenstrazem

consentimento dos pais

(40)

Referncia aoutros

serviosE por a adiante atchegar aos resultadospretendidos


61/68


62/68

Sugestes: Kellog Foundation (2004)

Flowchart for Evaluation Question DevelopmentEXERCCIO 6


63/68


64/68


65/68

Audincia Questes tpicas (ex. ) Uso da avaliao

Gestores do programa estaff

Estamos a atingir opblico-alvo?Os participantes estosatisfeitos?Como podemos melhoraro Programa?

Programar as decises,operaes do dia-a-dia

Participantes O Programa ajudou-me? Decises sobre acontinuao departicipao no programa

Membros da comunidade O Programa serviu osinteresses dacomunidade?

Decises acerca daparticipao e do suporteao programa

rgos pblicos Que diferena fez esteprograma?O Programa vale o seu

custo?

Decises acerca dosuporte ao programaConhecimento sobre a

utilidade do programaFinanciadores Conseguiu-se atingir o

que foi planeado?O Programa vale o seucusto?

ResponsabilizaoEsforos de financiamentofuturos


66/68


67/68


68/68

Documents

Aula 9_T.ppt.pdf