69

Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

Embed Size (px)

Citation preview

Page 1: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com
Page 2: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com
Page 3: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

©2007. Ministerio da SaúdeELABORAÇÃO, DISTRIBUIÇÃO E INFORMAÇÕES

Ministério da SaúdeSecretaría de Vigilância em SaúdePrograma Nacional de DST e AidsAv. W3 Norte, SEPN 511, bloco CCep: 70750-543 Brasília-DFE-mail: [email protected] Home page: http://www.aids.gov.brDisque Saúde / Fique Sabendo: 0800 61 1997

PRESIDENTE DA REPÚBLICA

Luís Inácio Lula da SilvaMINISTRO DE ESTADO DA SAÚDE

José Gomes TemporãoSECRETÁRIO DE VIGILÂNCIA EM SAÚDE

Gerson Oliveira Penna

DIRETORA DO PROGRAMA NACIONAL DE DST e Aids

Mariângela Batista Galvão SimãoDIRETOR ADJUNTO

Eduardo BarbosaASSESSOR ESPECIAL

Ruy Burgos Filho

ASSESSORIA DE MONITORAMENTO E AVALIAÇÃO

ASSESSORIA DE MONITORAMENTO E AVALIAÇÃO

Aristides Barbosa Junior, Ana Roberta Pati Pascom, Bruno Imbroisi, Carmen de Barros Correia Dhalia, Fábio O’Briene Karim Sakita

CONSULTORA DA

Elizabeth Moreira dos Santos

Suzanne Westman

PROJETO GRÁFICO

Bruno de Andrade Imbroisi

É permitida a reprodução parcial ou total deste manual, sempre que citada a fonte.

Ficha Catalográfica________________________________________________________________________________________________________________________________________________________________Brasil. Ministério da Saúde. Secretaria de Vigilância em Saúde. Programa Nacional de DST e Aids.Manual da oficina de capacitação em avaliação com foco na melhoria do programa / Ministério da Saúde, Secretaria de Vigilância em Saúde, Programa Nacional de DST e Aids. – BrasíliaMinistério da Saúde, 2007.112 p.: il. – (Série F. Comunicação e Educação em Saúde)ISBN 978-85-334-1044-21. Avaliação de programas e projetos de saúde. 2. Monitoramento. 3. Doenças sexualmente transmissíveis. 4. AIDS. I. Título. II. Série.NLM W 84_________________________________________________________________________________________________________________________________________________________________Catalogação na fonte – Coordenação-Geral de Documentação e Informação – Editora MS – OS 2006/1217Títulos para indexação:Em inglês: Manual of Workshop on Evaluation Capacity with Focus on Improvement of the ProgramEm Espanhol: Manual del Taller de Capacitación en Valoración con Foco en la Mejoría del Programa

CENTERS FOR DISEASE CONTROL AND PREVENTION - CDC/GLOBAL AIDS PROGRAM/BRAZIL

Page 4: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

Traduzido e adapTado

de:MoniToring & evaluaTion CapaCiTy Building for prograM iMproveMenT

field guide - version 1 - deCeMBer 2003gloBal aids prograM - CenTers for disease ConTrol and prevenTion orC MaCro

por:pn-dsT/aids – assessoria de MoniToraMenTo e avaliação:arisTides BarBosa Junior, ana roBerTa paTi pasCoM e CarMen de Barros Correia dhalia

ConsulTora da assessoria de MoniToraMenTo e avaliação do pn-dsT/aids: elizaBeTh Moreira dos sanTos (laser/densp/fioCruz)

CenTers for disease ConTrol / gloBal aids prograM - CdC/gap - Brasil

WilliaM Brady e suzanne WesTMan

e CoM a ColaBoração de

Célia landMann szWarCWald, larissa poleJak, Maria CrisTina r. Baggio, Maria elizaBeTh da s. h. Corrêa, Marly Marques da Cruz, silvana solange rossi, sonia naTal, Teresa seaBra soares e zulMira harTz

aTualizado e revisado eM 2007 por:

pn-dsT/aids – assessoria de MoniToraMenTo e avaliação:arisTides BarBosa Junior, ana roBerTa paTi pasCoM e CarMen de Barros Correia dhalia

pn dsT/aids - unidade de soCiedade Civil e direiTos huManos: karen BruCk de freiTas

CiCT/hiv/aids – CenTro inTernaCional de Cooperação TéCniCa:MirTha sendiC sudBraCk

fioCruz – laBoraTório de avaliação de siTuações endêMiCas regionais: elizaBeTh Moreira dos sanTos e Marly Marques da Cruz

Page 5: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

Apresentação

Page 6: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

Apresentação

A oficina De Capacitação em Avaliação com foco na Melhoria do Programa faz parte das iniciativas do Plano Nacional de Monitoramento e Avaliação (PNA) do Programa Nacional de DST e AIDS (PN-DST/AIDS). O PNA estabelece as diretrizes para a institucionalização do M&A no Programa e, nele, as atividades de capaci-tação em monitoramento e avaliação são identificadas como cruciais para o pro-cesso de institucionalização.

Destaca-se que essa iniciativa é o primeiro passo de uma abordagem sistê-mica do desenvolvimento de recursos humanos em avaliação que compreen-de ainda: a formação de profissionais e formadores em avaliação (Curso de Aperfeiçoamento à Distância, Curso de Especialização e Mestrado em Avaliação); e a formação e fomento de expertise específica em temas prioritários para o PNA como o treinamento em amostragem para populações de difícil acesso e a avaliação econômica.

Nesta quarta edição, a oficina incorpora as modificações originárias das suges-tões e da experiência acumulada ao longo de cerca de 80 oficinas em que foram treinadas quase 2000 pessoas, ao longo dos anos de 2005 e 2006. As mudanças realizadas privilegiaram dois pontos fundamentais: a otimização dos conteúdos da oficina em relação aos seus objetivos e o compromisso com a factibilidade de sua operacionalização.

Os objetivos dessa oficina são: introduzir e pactuar uma linguagem operacio-nal em monitoramento e avaliação no programa brasileiro; e implementar uma prática pedagógica que não só propicie a reflexão, mas também ofereça a seus participantes conteúdos e habilidades técnicas específicas. Além disso, espera-mos que os participantes dessa oficina possam, por meio da multiplicação da oficina e da adaptação do material, viabilizar e fomentar a institucionalização dos processos de M&A não só nos programas relacionados às DST e à aids no Brasil, como também em programas relacionados a outros agravos.

A oficina, com foco na melhoria do programa, é estruturada para uma car-ga horária de 8-12 horas, embora suas características e flexibilidade permitam a sua adaptação às necessidades e realidades locais. Para subsidiar a realização das oficinas elaborou-se este material de apoio que visa nortear o trabalho dos instrutores.

Cabe mencionar que a elaboração do material reúne esforços de três institui-ções de reconhecida experiência em serviços, ensino e pesquisa: o Ministério da Saúde, por meio do Programa Nacional de DST AIDS; a FIOCRUZ, por meio da Escola Nacional de Saúde Pública (ENSP) e os Centers for Disease Control e Prevention - Global AIDS Program Brazil (CDC/GAP-Brazil). O material foi tradu-zido e adaptado do “Monitoring & Evaluation Capacity Building for Program Improvement Field Guide” (Version 1; December 2003; CDC/GAP e ORC Macro)

É importante lembrar que todo o material utilizado na “Oficina de Capacitação em Monitoramento e Avaliação com foco na melhoria do programa” encontra-se disponível na Assessoria de Monitoramento e Avaliação do PN-DST/AIDS, vi-sando facilitar o acesso e o compartilhamento dessa ferramenta para uso das instituições de ensino e serviços de saúde.

Programa Nacional de DST e Aids

Page 7: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

Apoiodidático

Page 8: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

Apoiodidático

Page 9: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

­

Slide­4

A ASSESSORIA DE MONITORAMENTO E AVALIAÇÃO DO PN DST/AIDS

CDC/GAP-BRASIL

PN

M&A

OUTRAS UNIDADES

REDE INTERNADE AVALIADORES

5 SÍTIOS DE EXCELENCIA

Page 10: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

Slide­6

EXERCÍCIO 1:PROVÉRBIOS

Como cada provérbio se relaciona com

monitoramento e avaliação?

Page 11: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

10

Slide­7

CONCEITO DE AVALIAÇÃO

“Avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção, um serviço ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisão” (Contandriopoulos et al., 1997)

(Kellogg Foundation, 1998)

“ Evaluation is not to prove it is to improve”

Page 12: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

11

Slide­8

USOS DA AVALIAÇÃO

MELHORIA DO PROGRAMA

Compartilha-mento dosresultados com parceiros

Imputabilidade

(Accountability)

Page 13: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

12

Slide­9

EXERCÍCIO 2: DEFINIÇÕES E TERMINOLOGIAS

Leia a descrição da intervenção e respon-da cada questão, classifi cando se a ativi-dade que está sendo realizada é de Moni-toramento ou de Avaliação.

Page 14: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

13

Exercício­2:­M&A­-­Definições­e­TerminologiaInstruções

Leia a descrição da intervenção abaixo e responda cada questão classificando se a ação é de monitoramento ou de avaliação.

A­intervenção

Uma­ONG­está­realizando­uma­intervenção­para­adolescentes­vulneráveis­que­estão­fora­da­escola.­A­ONG­planejou­uma­intervenção­de­grupo,­que­consta­de­três­oficinas­de­uma­hora­e­que­aborda­informações­básicas­sobre­a­transmissão­do­HIV­e­o­uso­correto­do­preservativo.­Os­objetivos­são:­aumentar­o­nível­de­co-nhecimento­sobre­o­HIV­e­aumentar­o­uso­de­preservativos.­Estima-se­que­essa­in-tervenção­alcançará­entre­50­e­75­adolescentes­por­trimestre.

Questões:

1. Foi aplicado um questionário sobre conhecimento e comportamento aos ado-lescentes que participaram da intervenção, antes e depois das oficinas. Os achados dessas duas observações são comparados para verificar mudanças no conhecimen-to e nos comportamentos.

2. A ONG, a Coordenação Municipal de HIV e Aids e outros parceiros analisaram dados epidemiológicos, buscando verificar se todas as intervenções realizadas no município estão tendo algum tipo de influência nos indicadores de prevalência do HIV em jovens.

Page 15: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

14

3. Desde a primeira oficina, a ONG convidou um especialista em educação, como observador, para analisar as oficinas para verificar-se estão de acordo com os pa-drões da Secretaria de Educação.

4. As tendências da prevalência do HIV em jovens são examinadas, segundo os vários projetos atuantes no município em que a ONG trabalha, para determinar o quanto e como cada um deles modificou essas tendências.

5. Foi aplicado um questionário de conhecimento e comportamento aos ado-lescentes que participaram das oficinas, antes e depois da intervenção. O mesmo questionário também foi aplicado a um grupo similar de jovens que não participa-ram das oficinas. Os resultados dessas observações são comparados para detectar se ocorreram mudanças no conhecimento e comportamento e se essas mudanças ocorreram de forma diferente nos dois grupos, buscando esclarecer as razões des-sas diferenças

6. A ONG está realizando o registro do número de jovens, por sexo e idade, para acompanhar o perfil dos jovens que participam de cada oficina.

7. A ONG quer saber se a intervenção está fazendo diferença. Ela coleta vários ti-pos de dados usando o registro dos participantes, bem como questionários. Também foram realizados grupos focais com os participantes do projeto. Todos esses dados foram colocados em um arquivo e nunca foram consultados ou utilizados.

Page 16: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

15

Slide­10

O QUE É MONITORAMENTO E O QUE É AVALIAÇÃO?

MONITORAMENTO:- Acompanha rotineiramente informações prioritárias sobre um

programa e seus efeitos esperados.- Acompanha os custos e o funcionamento do programa.- Provê informações que podem ser utilizadas para a avaliação do

programa.

AVALIAÇÃO:- É um processo estruturado de coleta e análise de informações sobre as atividades, as características e os efeitos de um programa, respondendo a uma pergunta avaliativa.Determina o mérito ou valor do programa e/ou explica a relação entre ele e seus efeitos.

Ambos são usados para melhorar o programa e subsidiar decisões gerenciais.

Page 17: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

16

­

Slide­11­

EXERCÍCIO 3:

Classifi car os itens marcando com um X a coluna apropriada.

Page 18: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

17

Exercício­�:­Classifique­os­itens­abaixo­marcando­com­una­X­a­coluna­apropriada.

Exercício­�

Classifique os ítens abaixo marcando com um X a coluna apropriada.

Itens Insumo AtIvIdAde Produto resultAdo ImPActo comentárIos

Nº de testes realizados pelo programa

Incidência e prevalência de DST na população geral

Recursos huma-nos previamente existentes na instituição e que serão alocados no projeto

Financiamentos preexistentes para o projeto

Mudança de com-portamento de risco na popula-ção-alvo

Nº de preservati-vos distribuídos

Realização de treinamentos

Unidades de saú-de previamente existentes

Práticas profissio-nais adotadas

Page 19: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

1�

Exercício­�

Itens Insumo AtIvIdAde Produto resultAdo ImPActo comentárIos

Realização de ações educativas

Nº de preservati-vos distribuídos

Esperança de vida ao nascer

Sobrevida de pa-ciente com aids

Modificação das normas sociais

Page 20: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

1�

Slide­12

TERMINOLOGIA DE M&A

INSUMOS:São os recursos previamente disponíveis para a execução das atividades do programa. Incluem recursos fi nanceiros, humanos ou materiais.Exemplos:•Pessoal técnico préexistente para testagem•Kits préexistentes de teste de HIV

ATIVIDADES:São os procedimentos pelos quais os insumos são mobilizados viando à obtenção dos efeitos desejados.Exemplos:•Treinamento de recursos humanos para aconselhamento e testagem •Referenciamento de pessoas soropositivas aos serviços de

tratamento

Page 21: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

20

Slide­1�­

TERMINOLOGIA DE M&A (continuação)

PRODUTOS:São as conseqüências imediatas das atividades do programa.Exemplos:

•Número de consultas prestadas•Número de aconselhamentos realizados•Número de capacitações feitas

RESULTADOS:São os efeitos nas populações-alvo. Os resultados incluem vários tipos de efeitos, podendo focar o conhecimento, as atitudes, o comporta-mento, etc.Exemplos:

•Uso do preservativo•Qualidade dos serviços para HIV/Aids

Page 22: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

21

Slide­14

TERMINOLOGIA DE M&A (continuação)

IMPACTOS:Referem-se aos efeitos acumulados do conjunto dos programas:

•Em grandes populações•A longo prazo•Associados a efeitos fi nalísticos

Exemplos:•Incidência de aids•Prevalência do HIV•Mortalidade pela aids

Page 23: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

22

Slide­15­

COMPONENTES DE UM PROGRAMA

IDENTIFICAÇÃO DO PROBLEMA E DA MUDANÇA DESEJADA

INSUMOS(Recursos)

ATIVIDADES (Intervenções, Serviços)

PRODUTOS (Efeitos Imediatos)

RESULTADOS(Efeitos intermediá-rios)

IMPACTOS (Efeitosfi nalísticos)

DADOSPARA

DESENVOLVIMENTO DO PROGRAMA

DADOS DO PROGRAMA

DADOS POPULACIONAIS

Page 24: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

23

Slide­16

EXERCÍCIO 4: DEFINIÇÕES E TERMINOLOGIAS

CLASSIFIQUE SE AS ATIVIDADES DE MONITORAMENTO E AVALIAÇÃO DO EXERCÍCIO 2 ESTÃO RELACIONADAS COM INSUMOS ATIVIDADES, PRO-DUTOS, RESULTADOS OU IMPACTOS.

Page 25: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

24

Exercício­4:­M&A­-­Definições­e­Terminologia­

Instruções Leia a descrição da intervenção abaixo e responda cada questão classificando se a ação de monitoramento ou avaliação é de atividade, produto, resultado ou impacto.

A­intervenção

Uma­ONG­está­realizando­uma­intervenção­para­adolescentes­vulneráveis­que­es-tão­fora­da­escola.­A­ONG­planejou­uma­intervenção­ao­nível­de­grupo,­que­consta­de­três­sessões­de­uma­hora­e­que­aborda­informações­básicas­sobre­a­transmissão­do­HIV­e­o­uso­correto­do­preservativo.­Os­resultados­esperados­são:­aumentar­o­nível­de­conhecimento­sobre­o­HIV;­e­aumentar­o­uso­de­preservativos.­Estima-se­que­essa­in-tervenção­alcançará­entre­50­e­75­adolescentes­por­trimestre.­

Questões

1. Foi aplicado um questionário aos adolescentes que participaram da intervenção so-bre conhecimento e comportamento, antes e depois das oficinas. Os achados dessas duas ob-servações são comparados para verificar mudanças no conhecimento e nos comportamentos.

2. A ONG, a Coordenação Municipal de HIV e Aids e outros parceiros analisaram da-dos epidemiológicos buscando verificar se todas as intervenções realizadas no municí-pio estão tendo algum tipo de influência nos indicadores de prevalência do HIV em jovens.

Page 26: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

25

3. Desde a primeira oficina, a ONG convidou um especialista em educação, como observador, para analisar as oficinas utilizando os padrões da Secretaria de Educação.

4. As tendências da prevalência do HIV em jovens são examinadas segundo os vários projetos atuantes no município em que a ONG trabalha, para determinar o quanto e como cada um deles mo-dificou essas tendências.

5. Foi aplicado um questionário de conhecimento e comportamento aos adolescentes que par-ticiparam das oficinas, antes e depois da intervenção. O mesmo questionário também foi aplicado a um grupo similar de jovens que não participaram das oficinas. Os resultados dessas observações são comparados para detectar se ocorreram mudanças no conhecimento e comportamento e se es-sas mudanças ocorreram de forma diferente nos dois grupos, buscando esclarecer as razões dessas diferenças.

6. A ONG está realizando o registro do número de jovens, por sexo e idade, que participam de cada oficina.

7.­ A ONG quer saber se a intervenção está fazendo diferença. Ela coleta vários tipos de dados usando o registro dos participantes, bem como questionários. Também foram realizados grupos fo-cais com os participantes do projeto. Todos esses dados foram colocados em um arquivo e nunca fo-ram consultados ou utilizados.

Page 27: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

26

Slide­17­

TERMINOLOGÍA DE M&A (continuação)

MONITORAMENTO DE INSUMO:

Acompanhamento de informações sobre insumos. -Responde questões como:

•Que recursos estão disponiveis para o programa?•Que recursos foram usados?

Exemplos:•Acompanhamento do número de preservativos disponíveis semestralmente para o programa

Page 28: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

27

­

Slide­18

TERMINOLOGIA DE M&A (continuação)

MONITORAMENTO DE PRODUTO:

Acompanhamento dos efeitos imediatos da atividades: -Responde questões do tipo:•Qual o número de serviços prestados?

Exemplos:•Acompanhamento do número de preservativos adquiridos

semestralmente pelo programa•Acompanhamento do número de pessoas atendidas mensalmente

no serviço.

Page 29: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

2�

Slide­19­

TERMINOLOGÍA DE M&A (continuação)

AVALIAÇÃO DE ATIVIDADE:

Usualmente é equivalente à avaliação de processo ou análise de im-plantação/implementação. Complementa o monitoramento de insumos e produtos com uma di-mensão explicativa.

Responde questões do tipo: •O programa foi implementado conforme o esperado?•As ações estão onde deveriam estar, atingindo a população para a qual estavam programadas?•Os usuários têm acesso ao programa? Que barreiras difi cultam ou inviabilizam esse acesso?

Exemplo:O programa foi implantado conforme o planejado? Ou seja, a capacitação foi adequada, os insumos estavam disponíveis oportunamente, etc

Page 30: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

2�

Slide­20­

TERMINOLOGÍA DE M&A (continuação)

MONITORAMENTO DE RESULTADO

Acompanhamento das informações relacionadas aos efeitos esperados do programa na população-alvo.

Responde questões do tipo: • O resultado esperado ocorreu?

Exemplo:• Acompanhamento do percentual de uso de preservativos nas

relações sexuais com parceiros eventuais.

Page 31: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

30

Slide­21

TERMINOLOGÍA DE M&A (continuação)

AVALIAÇÃO DE RESULTADO:

Contempla ou explica as razões pelas quais as atividades do programa alcançaram ou não os seus resultados.Enfatiza as relações causais entre o programa e o seu efeito na população-alvo.

Responde questões do tipo: • O programa explica os resultados observados?

Exemplo:• O programa foi responsável pelo aumento do uso de preservativos?

Como?

Page 32: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

31

Slide­22

TERMINOLOGÍA DE M&A (continuação)

MONITORAMENTO DE IMPACTO:

Usualmente, refere-se ao acompanamento das tendências epidemiológicas da doença.

Responde questões do tipo: • Que efeito todas as intervenções têm sobre os casos de aids?

Exemplo:•Acompanhamento sistemático da evolução da taxa de incidência de

aids (vigilância epidemiológica da aids).

Page 33: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

32

Slide­2�

TERMINOLOGÍA DE M&A (continuação)

AVALIAÇÃO DE IMPACTO:

Análise das relações entre as tendências epidemiológicas da doença e os programas de controle e outros fatores associados.

Responde questões do tipo: • Quanto do impacto observado se deve a um programa específi co?

Exemplo:• Quanto da redução da prevalência do HIV foi devida ao programa?

Page 34: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

33

Slide­24

RELAÇÃO ENTRE PROGRAMAS E IMPACTOS

Nívelfederal

Nívelestadual

Nívelmunicipal

Outrasinstituições

Programas

INSUMOS PRODUTOS RESULTADOS IMPACTO

Programas

Programas

Programas

Page 35: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

34

Slide­25

RELAÇÃO ENTRE AVALIAÇÃO, PLANEJAMENTO, IMPLEMENTAÇÃO E EFEITOS

PLANEJAMENTO IMPLEMENTAÇÃO EFEITOS

Estudos de AvaliabilidadeDiagnóstico de Situação

Monitoramento de insumos e produtosAvaliação de Atividades (processo)

Monitoramento de ResultadoAvaliação de ResultadoMonitoramento de ImpactoAvaliação de Impacto

Page 36: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

35

Slide­26

IMPLICAÇÕES DO DESCONHECIMENTO DE COMO UMA INTERVENÇÃO FOI

IMPLEMENTADA

PLANEJAMENTO ??????? EFEITOS

Page 37: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

36

Slide­­27­

M&A: EXPECTATIVAS REALISTAS

PIPELINE DE M&A

TODOS MAIORIA ALGUNS POUCOS

Monitora-mento de Insumos e Produtos

Avaliação de Atividades

M&A de Resultado

M&A de Impacto

Nº DE PROJETOS

NÍVEIS DO ESFORÇO EM M&A

Adaptado de Rehle/Rugg M&E Pipeline Model, FHI 2001

Page 38: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

37

Slide­28

DEFINIÇÃO DE MODELO LÓGICO

• Um modelo lógico é uma maneira visual e sistemática de apresentar as relações entre intervenção e efeito. Ele deve incluir as relações en-tre os recursos necessários para operacionalizar o programa, as ativi-dades planejadas e os efeitos que o programa pretende alcançar.

• Ele é uma representação da racionalidade do programa e é freqüente-mente apresentado como um fl uxograma ou uma tabela, que expli-cita a seqüencia de passos que conduzem aos efeitos do programa.

Page 39: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

3�

Slide­29­

COMPONENTES DO MODELO LÓGICO

IDENTIFICAÇÃO DO PROBLEMA

RECURSOS/INSUMOS ATIVIDADES PRODUTOS RESULTADOS IMPACTOS

TRABALHO PREVISTO EFEITOS ESPERADOS

1 2 3 4 5

Page 40: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

3�Slide­�0

MO

DEL

O L

ÓG

ICO

DE

IMPL

EMEN

TAÇÃ

O D

E CT

A

INSU

MO

SAT

IVID

AD

ESPR

OD

UTO

SRE

SULT

AD

OS

IMPA

CTO

S

FIN

ANCI

AMEN

TO

GO

VERN

AMEN

-TA

L E

OU

TRO

S

CAPA

CITA

ÇÃO

DO

S G

EREN

TES

LOCA

IS

E D

AS

EQU

IPES

EM

AC

ON

SELH

AMEN

TO E

TE

STAG

EM

REAL

IZAÇ

ÃO A

CON

-SE

LHAM

ENTO

PRÉ

PRO

FISS

ION

AIS

CAPA

CITA

DO

S EM

AC

ON

SELH

AMEN

-TO

E T

ESTA

GEM

USU

ÁRIO

S Q

UE

RECE

BER

AM

O

ACO

NSE

LHA

MEN

TO P

TEST

E

USU

ÁRIO

S H

IV-

E H

IV+

COM

EST

RA

-TÉ

GIA

S D

E RE

DU

ÇÃO

D

E RI

SCO

MEL

HO

RÍA

DA

QU

ALID

A-

DE

DO

CTA

DIM

INU

IÇÃO

DA

INCI

DÉN

CIA

DO

H

IV

USU

ÁRIO

S TE

S-TA

DO

S

USU

ÁRIO

S Q

UE

RECE

BER

AM

RES

ULT

ADO

E

ACO

NSE

LHA

MEN

TO

PÓS

TEST

E

USU

ÁRIO

S H

IV+

COM

ES-

TRAT

ÉGIA

S D

E TR

ATAM

ENTO

IN

CORP

OR

A-

DA

S

PRÁT

ICA

S D

E RI

SCO

DIM

I-N

UÍD

AS

PRO

FISS

ION

AIS

DE

SAÚ

DE

REAL

IZAÇ

ÃO D

E AC

ON

SELH

AMEN

TO

PÓS

TEST

E

REFE

REN

CIAM

ENTO

D

OS

USU

ARIO

S H

IV+

PAR

A O

S SE

R-VI

ÇOS

DE

ATEN

ÇÃO

, TR

ATAM

ENTO

E

APO

IO S

OCI

AL

DIM

INU

IÇÃO

DA

MO

RTA

LID

ADE

RELA

CIO

NAD

A AO

HIV

PRO

TOCO

LOS,

D

IRET

RIZE

S,

MAN

UAI

S PA

RA

CTA

KITS

PAR

A TE

S-TA

GEM

RÁP

IDA

DO

HIV

IDEN

TIFI

CAÇÃ

O D

O P

ROBL

EMA:

A T

AXA

DE

INFE

CÇÃO

PEL

O H

IV C

ON

TIN

UA

A CR

ESCE

R, R

ESSA

LTAN

DO

A IM

PORT

ÂNCI

A D

E PE

SSO

AS,

TA

NTO

HIV

PO

SITI

VAS

COM

O N

EGAT

IVAS

, CO

NH

ECER

EM S

EU S

TATU

S SO

ROLÓ

GICO

E D

ESEN

VOLV

EREM

EST

RAT

ÉGIA

S PE

SSO

AIS

DE

RED

UÇÃ

O D

E RI

SCO

E D

E SU

A IN

SERÇ

ÃO E

M S

ERVI

ÇOS

DE

ACO

MPA

NH

AMEN

TO. P

ESSO

AS

QU

E N

ÃO S

ÃO S

ORO

NEG

ATIV

AS P

OD

EM

NÃO

EST

AR M

OTI

VADA

S A

PERM

ANEC

ER S

ORO

NEG

ATIV

AS, E

NQ

UAN

TO A

QU

ELAS

QU

E SÃ

O S

ORO

POSI

TIVA

S PO

DEM

NÃO

UTI

LIZA

R

AS IN

TERV

ENÇÕ

ES IN

DIS

PEN

SÁVE

IS P

ARA

RED

UZI

R A

TRAN

SMIS

SÃO

DO

HIV

PAR

A SE

US

FILH

OS

E O

UTR

AS P

ESSO

AS,

OU

AIN

DA,

PAR

A U

TILI

ZAR

OS

SERV

IÇO

S D

E AT

ENÇÃ

O, T

RATA

MEN

TO E

APO

IO S

OCI

AL

REAL

IZAÇ

ÃO D

A TE

STAG

EM P

ARA

O H

IV

USU

ÁRIO

S H

IV+

ENCA

MIN

HAD

OS

A SE

RVI

ÇOS

DE

ATEN

ÇÃO

, TR

ATA

MEN

TO E

APO

IO

SOCI

AL

USU

ÁRIO

S H

IV(+

E

-) Q

UE

ESTA

BEC

E-R

AM E

STR

ATÉG

IAS

DE

RED

UÇÃ

O D

E RI

SCO

MEL

HO

RA

DO

S PA

-M

ETRO

S D

E SA

ÚD

E D

AS

PESS

OA

S H

IV+

DIM

INU

IÇÃO

D

A M

ORB

I-D

ADE

RELA

-CI

ON

ADA

AO

HIV

SIST

EMA

DE

RE-

FERÊ

NCI

A PA

RA

PREV

ENÇÃ

O E

TR

ATAM

ENTO

Page 41: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

40

Slide­�1

POR QUE USAR MODELOS LÓGICOS?

Page 42: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

41

Slide­�2

VANTAGENS DO MODELO LÓGICO

• Comunica o propósito fundamental do programa, evidenciando, de maneira explícita, os produtos e efeitos esperados do programa.

• Ilustra a consistência lógica interna do programa contribuindo para identifi car lacunas e efeitos não realísticos.

• Envolve os atores e promove a comunicação sobre o programa entre fi nanciadores, executores, membros da comunidade e outros atores, inclusive avaliadores.

• Contribui para o monitoramento do progresso do programa ao forne-cer um plano claro de acompanhamento, de forma que os sucessos possam ser reproduzidos e os problemas evitados.

• Direciona as atividades de avaliação do programa ao identifi car as questões avaliativas apropriadas e os dados relevantes necessários.

Page 43: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

42

Slide­��

LIMITAÇÕES DO MODELO LÓGICO

• É uma representação da realidade, não a realidade.- Os programas não são lineares

• Normalmente, não inclui efeitos além daqueles inicialmente espera-dos.

• A difi culdade do estabelecimento da causalidade.- Muitos fatores influenciam os efeitos.

• Parte do pressuposto que a escolha da intervenção é a mais correta- Não leva em conta a pergunta: o que estamos fazendo é o mais correto?

Adaptado de Ellen Taylor-Powell (2000)http://www.uwex.edu/ces/pdande/evaluation/evalpresentations.html

Page 44: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

43

Slide­�4

EXERCÍCIO 5: CONSTRUÇÃO DE MODELO LÓGICO PARA PREVENÇÃO DA TRANSMISSÃO VERTICAL

Utilizando os cartões, construa o modelo lógico para a prevenção da transmissão vertical.

Page 45: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

44

Slide­�5

OBJETIVOS E METAS

• OBJETIVO GERAL:

Estabelece, de forma geral e abrangente, asintenções e os efeitos esperados do programa, orientando o seu desenvolvimento.

• OBJETIVOS ESPECÍFICOS:

Conjunto de eventos ou ações concretas que, coletivamente, contri-buem para alcançar o objetivo geral.

• METAS:

Estabelecem, quantitativamente, os efeitos esperados em um tem-po determinado.

Page 46: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

45

Slide­�6

EXEMPLOS DE OBJETIVOS E METASOBJETIVO ESPECÍFICO: Aumentar a proporção de profi ssionais capacitados em aconselhamento

META:Ao fi nal do primeiro ano do projeto, 75% dos profi ssionais de nível superior do CTA deverão ter sido capacitados em aconselhamento

OBJETIVO ESPECÍFICO: Aumentar a proporção de usuários que adotaram estratégias pessoais de redução de risco

META:No começo do segundo ano do projeto, 65% dos usuários que receberam o resultado do teste HIV terão adotado uma estratégia pessoal de redução de risco.

PRODUTO:nº de profissionais do CTA capacitados em aconselhamento

RESULTADO:proporção de usuários que adotaram estratégias pessoais de redução de risco

Page 47: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

46

Slide­�7

ESTRATÉGIA SMART DE DEFINIÇÃO DE METAS

• ESPECÍFICA: Identifi ca eventos ou ações concretas que ocorrerão.

• MENSURÁVEL: Quantifi ca os recursos, as atividades ou a mudança permitindo sua mensuração.

• APROPRIADA: Relaciona logicamente o problema identifi cado com os efeitos desejáveis.

• REALISTA: Dimensiona, realisticamente, a adequação entre os recursos dispo-níveis, o plano de implementação e os efeitos esperados.

• TEMPORALIDADE: Especifi ca um prazo no qual a meta será alcançada.

Page 48: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

47

Slide­�8­

EXEMPLOS DE METAS SMART• Ao fi nal do primeiro ano do projeto, 75% dos profi ssionais de nível superior do CTA deverão ter sido capacitados em aconselhamento.

• No começo do segundo ano do projeto, 65% dos usuários que recebe-ram o resultado do teste HIV deverão ter estabelecido uma estratégia pessoal de redução de risco.

ESPECÍFICA: A meta especifi ca claramente o que deve ser alcançadoe por quem?MENSURÁVEL: A meta é mensurável?APROPIADA: A meta se relaciona com o que o programa propõerealizar?REALISTA: A meta é alcançável considerando-se os insumosdisponíveis, as atividades previstas e a experiência acumulada?TEMPORALIDADE: A meta especifi ca quando ela será alcançada?

Page 49: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

4�

Slide­�9

EXERCÍCIO 6: DEFINIÇÃO DE METAS SMART

ESCREVA TRÊS METAS SMART RELACIONADAS COM OPROGRAMA PARA PREVENÇÃO DA TRANSMISSÃO VERTICAL

Page 50: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

4�

Exercício­6:­DESENVOLVENDO­METAS­SMARTIntrodução:­O Ministério da Saúde está desenvolvendo um programa para prevenir a transmissão vertical

do HIV. O modelo lógico previsto está descrito abaixo. Eles também estão planejando uma avalia-ção do programa. Você deve pensar sobre metas para o programa que possam captar o processo de implementação e resultado.

Identificação­do­Problema

As­taxas­de­HIV­têm­aumentado­entre­gestantes­e­crianças.­O­risco­de­transmissão­vertical­do­HIV­é­significativo­durante­a­gravidez­e­durante­o­parto.­Além­disso,­existe­o­risco­de­transmissão­no­pós-parto­por­meio­do­aleitamento­materno

Insumos

• Protocolo de teste e aconselhamento para prevenção e controle da transmissão vertical

• Kit de teste do HIV• Drogas anti-retrovirais (ARV)• Recursos humanos capacitados• Fórmula láctea• Inibidor da lactação• Recursos financeiros

Atividades

• Realização de aconselhamento e testagem no pré-natal• Realização de aconselhamento e testagem no momento do parto• Dispensação dos ARV para profilaxia ou tratamento para a gestante/

parturiente HIV+• Dispensação dos ARV para profilaxia para o RN• Realização de parto cesáreo para parturientes identificadas como HIV+• Inibição da lactação de parturientes identificadas como HIV+ • Dispensação da fórmula láctea

Produtos

• Nº de gestantes aconselhadas e testadas no pré-natal• Nº de gestantes aconselhadas e testadas no parto• Nº de gestantes HIV+ que recebem profilaxia ou tratamento com ARV• Nº de RN expostos ao HIV que recebem profilaxia com ARV• Nº de gestantes HIV+ que recebem inibidor de lactação• Nº de puérperas HIV+ que recebem inibidor de lactação• Nº de RN expostos ao HIV que recebem fórmula láctea

Resultados

• Aumento da cobertura do teste de HIV em gestantes e parturientes• Aumento do conhecimento do status sorológico para o HIV• Aumento a utilização da profilaxia com ARV por gestantes HIV+• Aumento a utilização da profilaxia com ARV por RN expostos ao HIV• Aumento da utilização da fórmula láctea por RN expostos ao HIV• Redução das taxas de transmissão vertical do HIV

Impacto • Redução da incidência de HIV em crianças

Page 51: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

50

Relacione três metas para este programa

Verifique se essas metas seguem o critério SMART

• ESpecífica

• Mensuravel

• Apropriada

• Realista

• Temporalidade

• ESpecífica

• Mensuravel

• Apropriada

• Realista

• Temporalidade

• ESpecífica

• Mensuravel

• Apropriada

• Realista

• Temporalidade

Page 52: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

51

Slide­40

UTILIZANDO MODELOS LÓGICOS PARA AVALIAÇÃO

MODELO TEÓRICO DE AVALIAÇÃO

Page 53: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

52

Slide­41

EXEMPLO DE MODELO TEÓRICO DE AVALIAÇÃO PARA CTA

INSUMOS ATIVIDADES PRODUTOS RESULTADOS IMPACTOS

2.500 TESTES RÁPIDOS PARA O HIV DISPONÍVEIS

POR MÊS

REALIZAÇÃO DE ACONSELHAMENTO

PRÉ-TESTE

REALIZAÇÃO DA TES-TAGEM RÁPIDA PARA

HIV E ACONSELHA-MENTO PÓS-TESTE

1.000 USUÁRIOS/MÊS TESTADOS E COM ACONSELHA-MENTO PÓS-TESTE

1.000 USUÁRIOS/MÊS COM ESTRATÉ-

GIAS DE REDUÇÃO DE RISCO DEFINIDAS

70% DOS USUÁRIOS HIV- RELATANDO USO CONSISTEN-

TE DE PRESERVATIVO COM PARCEIROS EVENTUAIS, NO

ÚLTIMO MÊS

100% DOS USUÁRIOS HIV+ RELATANDO USO CONSISTENTE DE PRESERVATIVO COM TODOS SEUS PARCEIROS, NO ÚLTIMO

MÊS

MANUTENÇÃO DA PREVALÊNCIA DO

HIV NO MUNI-CÍPIO

750USUÁRIOS/MÊS TESTADOS E COM

ACONSELHAMENTO PÓS-TESTE

600 USUÁRIOS/MÊS COM ESTRATÉGIAS DE REDUÇÃO DE RISCO

DEFINIDAS

70% DOS USUÁRIOS HIV- RELA-TANDO USO CONSISTENTE DE

PRESERVATIVO COM PARCEIROS EVENTUAIS, NO ÚLTIMO MÊS

98% DOS USUÁRIOS HIV+ RELATANDO USO CONSIS-TENTE DE PRESERVATIVO

COM TODOS SEUS PARCEI-ROS, NO ÚLTIMO MÊS

TEORIA DA MUDANÇA: O DESCONHECIMENTO DO STATUS SOROLÓGICO IMPEDE QUE PESSOAS SORONEGATIVAS FIQUEM MOTIVADAS A CONTINUAR NEGATIVAS; E QUE AS SOROPOSITIVAS PROCUREM OS SERVIÇOS DE ATENÇÃO, TRATAMENTO E APOIO SOCIAL. ACONSELHAMENTO

E TESTAGEM SÃO FUNDAMENTAIS PARA O CONHECIMENTO DO STATUS SOROLÓGICO. A DISPONIBILIZAÇÃO DA TESTAGEM REDUZ A TRANSMISSÃO DO HIV.

2.500 TESTES RÁPIDOS PARA O HIV DISPONÍVEIS

POR MÊS

REALIZAÇÃO DE ACONSELHAMENTO

PRÉ-TESTE

REALIZAÇÃO DA TES-TAGEM RÁPIDA PARA

HIV E ACONSELHA-MENTO PÓS-TESTE

5% DE AUMENTO DA PREVALÊN-CIA DO HIV NO

MUNICÍPIO

PLANEJADO

EXECUTADO

Page 54: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

53

­­

Slide­42

RELAÇÃO ENTRE OS COMPONENTES DE UM MODELO TEÓRICO, AS METAS E AS

PERGUNTAS AVALIATIVAS

INSUMOS ATIVIDADES PRODUTOS RESULTADOS IMPACTOS

MODELO LÓGICO

META

PERGUNTAS DE MONITORAMENTO

E AVALIAÇÃO

O QUE MEDIR

2.500 TESTES RÁPIDOS PARA O HIV DISPONÍVEIS

POR MÊS

REALIZAÇÃO DE ACONSELHAMENTO PRÉ-TESTE A TODOS

OS USUÁRIOS

REALIZAÇÃO DA TES-TAGEM RÁPIDA PARA

HIV E ACONSELHA-MENTO PÓS-TESTE

1.000 USUÁRIOS/MÊS TESTADOS E COM ACONSELHA-MENTO PÓS-TESTE

1.000 USUÁRIOS/MÊS COM ESTRATÉ-

GIAS DE REDUÇÃO DE RISCO DEFINIDAS

70% DOS USUÁRIOS HIV- RELATANDO USO

CONSISTENTE DE PRESERVATIVO COM

PARCEIROS EVENTUAIS, NO ÚLTIMO MÊS

MANUTENÇÃO DA PREVALÊNCIA DO

HIV NO MUNI-CÍPIO

AO FINAL DO PRIMEIRO ANO DO PRO-GRAMA, 1.000 USUÁRIOS/MÊS SERÃO

TESTADOS E RECEBERÃO ACONSELHAMEN-TO PÓS-TESTE.

AO FINAL DO PRIMEIRO ANO, QUANTOS DOS USUÁRIOS FORAM TESTADOS E RECE-BERAM ACONSELHAMENTO PÓS-TESTE?

(M) POR QUE ESSE NÚMERO? (A)

Nº DE USUÁRIOS QUE FORAM TESTADOS E QUE RECEBERAM ACONSELHAMENTO

PÓS-TESTE

NO SEGUNDO ANO DO PROGRAMA, 70% DOS USUÁRIOS HIV- RELATARÃO USO CON-

SISTENTE DE PRESERVATIVO COM PARCEIROS EVENTUAIS, NO ÚLTIMO MÊS..

QUAL O PERCENTUAL DE USUÁRIOS HIV- QUE RELATARAM USO CONSISTENTE DE PRESERVA-TIVO COM SEUS PARCEIROS EVENTUAIS? (M)

POR QUE DESSE PERCENTUAL? (A)

Nº DE USUÁRIOS HIV- COM PARCEIROS EVEN-TUAIS, NO ÚLTIMO MÊS

Nº DE USUÁRIOS HIV- COM PARCEIROS EVEN-TUAIS QUE RELATARAM USO CONSISTENTE DE PRESERVATIVOS COM ESSES PARCEIROS,

NO ÚLTIMO MÊS

AO FINAL DO PROJE-TO, A PREVALÊNCIA

DO HIV NO MU-NICÍPIO TERÁ SE

MANTIDO NOS NÍVEIS ATUAIS.

QUAL A TENDÊNCIA DA PREVALÊNCIA DO HIV NO MUNICÍPIO? (M) POR QUE DESSA

TENDÊNCIA? (A)

Nº DE PESSOAS HIV+ NO MUNICÍPIO E POPULAÇÃO DO

MUNICÍPIO

100% DOS USUÁRIOS HIV+ RELATANDO USO CONSISTENTE DE PRE-

SERVATIVO COM TODOS SEUS PARCEIROS, NO

ÚLTIMO MÊS

Page 55: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

54

EXERCÍCIO 7: DEFINIÇÃO DA PERGUNTA DE

MONITORAMENTO E AVALIAÇÃO

COM BASE NO MODELO LÓGICO E METAS DESCRITAS, DESENVOLVA PERGUNTAS DE MONITORAMENTO E AVALIAÇÃO, INCLUINDO O QUE SERÁ MEDIDO E COMO SERÁ MEDIDO:

Slide­4�

Page 56: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

55

PERGUNTA DE MONITORAMENTO:

Page 57: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

56

MODO DE PENSAR AVALIATIVO

INTERVENÇÃO

PLANEJADA

PLANEJADOS

EXECUTADA

ALCANÇADOS

Nível de implementação

Nível de desempenho

Existe uma diferença?Essa diferença é aceitável?Como explicar essa diferença?

Existe uma diferença?Essa diferença é aceitável?Como explicar essa diferença?

EFEITOS

Slide­44

Page 58: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

57

MATRIZ DE AVALIAÇÃO DE PROGRAMA

Descrição

Valor

Adaptado de Stake 1973.

Matriz de descrição

planejado executado

congruência

Matriz de julgamento

indicadores padrões mérito

insu

mos

C O N T E X T O

ativi

dade

s

prod

utos

Slide­45

Page 59: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

5�

EXISTE UMA DIFERENÇA?(descrever + comparar)

ESSA DIFERENÇA É ACEITÁVEL?(comparar + negociar + julgar)

COMO EXPLICAR ESSA DIFERENÇA?(descrever + analisar)

OU SEJA:

Slide­46

Page 60: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

5�

ETAPAS NA PRÁTICA DA AVALIAÇÃO• COMPROMETA OS INTERESSADOS

Pessoas envolvidas ou afetadas pelo programa e usuários potenciais da avaliação.

• DESCREVA O PROGRAMAContexto organizacional, mudanças esperadas, modelo lógico (arti-culando insumos, atividades e efeitos esperados).Reveja o modelo lógico com os interessados.

• FOCALIZE O DESENHO DA AVALIAÇÃOPropósitos, usos, perguntas avaliativas, padrões, critérios de julga-mento, técnicas de coleta e análise de dadosObtenha o consenso escrito sobre esse desenho

• ACUMULE EVIDÊNCIAS COM CREDIBILIDADE

• ESTABELEÇA AS EVIDÊNCIAS QUE LEVARAM ÀS CONCLUSÕESJulgamento e recomendações.

• GARANTA O USO E COMPARTILHE AS LIÇÕES APRENDIDAS

Slide­47

Page 61: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

60

CONDIÇÕES PARA REALIZAR UMA AVALIAÇÃO

• EXISTE A VONTADE DE REALIZAR AVALIAÇÃO?

• A PERGUNTA IDENTIFICADA PODE SER RESPONDIDA POR UM PROCESSO AVALIATIVO?

• OS RECURSOS PARA A AVALIAÇÃO ESTÃO ASSEGURA-DOS?

• AS PESSOAS QUE IRÃO UTILIZAR OS RESULTADOS DA AVALIAÇÃO FORAM IDENTIFICADAS?

• EXISTE A INTENÇÃO DE USAR OS RESULTADOS DA AVALIAÇÃO?

Não estápronto

Pronto para

Avaliar!

Slide­48

Page 62: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

61

No estálisto

Listo para Evaluar!

PRÉ-REQUISITOS PARA UMA AVALIAÇÃO DE RESULTADO

• O PROGRAMA É SUSTENTÁVEL?

• O PROGRAMA FOI IMPLEMENTADO DE ACORDO COM O PLANO ESTABELECIDO?

• O PROGRAMA VEM SENDO DESENVOLVIDO COM NÍVEIS DE ESTABILIDADE ACEITÁVEIS?

• O PROGRAMA ATINGE UM NÚMERO SUFICIENTE DE PESSOAS?

• O PROGRAMA TEM SIDO EXECUTADO COM A INTENSI-DADE SUFICIENTE?

Slide­49

Page 63: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

62

COMO AVALIAR UMA AVALIAÇÃO?(METAVALIAÇÃO)

• UTILIDADEA avaliação atende às necessidades de informação dos usuários intencionais?

• EXEQÜIBILIDADETodos os passos necessários foram executados e dentro de um custo aceitável?

• PROPRIEDADEDurante o processo avaliativo os princípios legais, éticos e de respeito ao bem-estar dos envolvidos ou afetados pela avaliação foram observados?

• EXATIDÃOOs resultados divulgados são tecnicamente válidos?

OBSERVE QUE OS CRITÉRIOS DEVEM REFLETIR A SINGULARIDADE DA AVALIAÇÃO PROPOSTA E O CONTEXTO EM QUE ELA OCORRE.

Slide­50

Page 64: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

63

“SE TODAS AS TEIAS DE ARANHA SE UNEM, ELAS PODEM AMARRAR UM LEÃO”

(ÁFRICA)

BEM-VINDOS AO CAMPO DA AVALIAÇÃO!

Slide­51

Page 65: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

64

AVALIAÇÃO DO CURSO

QUE BOM QUE...

QUE PENA QUE...

QUE TAL SE...

Slide­52

Page 66: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

65

Notas

Page 67: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

66

Page 68: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

67

Page 69: Manual da oficina de capacitação em avaliação com …bvsms.saude.gov.br/bvs/publicacoes/oficina_capacitacao_avaliacao... · Manual da oficina de capacitação em avaliação com

6�