Metodologia de Avaliação de programa[qualitativa]

Material apresentado e discutido em seção científica do Dpto de epidemiologia e métodos quantitativos da Ensp / Fiocruz em 2006

( Modelo de avaliação operacional do programa ampliado de imunização-PAI/SIV/OPS utilizado e experimentado desde a década de 1980[1984] até o

ano atual[2009] )

maranhao@ensp.fiocruz.bremaranhao@hotmail.com

E.Maranhão

Metodologia de Avaliação de programa[qualitativa] 1

• FUNDAMENTOS Teóricos[modelo]: Construtivista-quanto a ontologia é relativista, as realidades são apreendidas em múltiplas formas, são construções mentais intangíveis,socialmente e experimentalmente fundamentadas[baseadas], na natureza local e específica(embora os elementos são freqüentemente repartidos[ divididos]entre muitos indivíduos e também através das culturas),e dependentes da formas e conteúdo, pessoas e grupos realizando construções. As construções não são mais nem menos “verdadeiras”, no sentido absoluto, mas simples ou menos informada e / ou sofisticada. As construções são alteráveis, como as “realidades”. Esta posição deve ser diferenciada [distinguida] tanto do nominalismo como do idealismo( Reese,1980) . Considerando a epistemologia esta é transacional e subjetivista, isto é o investigador e o objeto da investigação são assumidos como sendo interativamente ligados aos “ achados” tanto quanto os “achados” são literalmente criados com o procedimento de investigação. Sob o ponto de vista da metodologia esta é hermenêutica e dialética. A variável e a natureza intramental da construção social sugere que a construção individual pode ser obtida, extraída e refinada somente através da interação entre e em conjunto com o investigador e o investigado. Estas variadas construções são interpretadas usando técnicas hermenêuticas convencionais, e são comparadas e constratadas através das trocas dialéticas. A intenção, a essência é distinguir uma construção de consenso que é mais informada e sofisticada que uma construção anterior, precedente; incluindo, logicamente, a construção ética do investigador(E..G.Guba e Y.S.Lincoln ) ESPM

Avaliação de programa 2

• Fundamento[continuação]

• Podemos encontrar a origem de tal método na etnometodologia (Shütz;1971), passando pela pesquisa participativa, pesquisa ação.(Mattelart & Mattelart;1995)

• O método de avaliação rápida (REM) consiste em um conjunto de pesquisas baseadas em observação e diagnóstico de atividades, realizadas geralmente nos estabelecimentos de saúde. Fornece uma base para a identificação de problemas operacionais e para a tomada de ações gerenciais. (Anker. M. et al;1993) ESPM

Avaliação de programa 3

• 1.2-Propósito

• O propósito de avaliar um programa a nível nacional é conhecer seu estado atual, especialmente as condições que poderiam facilitar ou dificultar atingir seus objetivos, e usar esta informação para a oportuna tomada de decisões em benefício da população.

• Avaliam-se a força e debilidade, a eficiência e eficácia, o impacto sobre as doenças e eventos negativos e a capacidade do programa para adaptar-se a novas demandas, tanto as geradas por processos de reforma do setor saúde e a descentralização, como as que surgem em resposta as necessidades da população de aceder a novas ofertas,atividades e serviços de saúde.

• As guias [entrevistas,questionários semi-estruturados e observação orientada] tem como objetivo ajudar aos que conduzem a revisão do programa.

• A diferença com outros modelos de avaliação de programas é que os avaliadores estão orientados a enfocar os aspectos específicos relacionados com a situação atual do programa e a avaliação só se torna completa com a elaboração de um plano de ação, geralmente qüinqüenal onde se materializam as recomendações da avaliação em atividades concretas a serem realizadas. ESPM

Avaliação de programa 4

• O modelo de avaliação se define como:[ no marco conceitual]

• A- Impacto: é a análise que se realiza para estimar em que medida as ações desenvolvidas tem produzido as mudanças esperadas. Os principais indicadores que operacionalizam este conceito são a morbidade , mortalidade e medidas de risco das doenças e eventos relacionados ao programa

• B-Processo: é a análise que se realiza a partir das ações implementadas para produzir as mudanças esperadas ESPM

Avaliação de programa 5

• São fundamentos do modelo:

• INTEGRAÇÃO

• MULTIDISCIPLINARIEDADE

• PARTICIPAÇÃO/ NEGOCIAÇÃO[de acordo com a 4* geração de avaliação]

• TRABALHO DE GRUPO ESPM

Componentes da avaliação doPAI/PNI 6

• 1-Prioridade política• 2-Dados demográficos• 3-Planejamento• 4-Programação• 5-Organização• 6-Coordenação• 7-Estratégias e Táticas• 8-Recursos[9-humanos, 10-de gestão,11-físicos e12- financeiros]• 13- Insumos, material necessário,. logística• 14-Cadeia de frio• 15-Capacitação• 16-Supervisão• 17-Sistema de informação• 18-Vigilância Epidemiológica[incluindo coberturas e risco]• 19-Avaliação e investigação• 20-Participação da Comunidade,Educação para a saúde, Mobilização social• 21-Satisfação dos usuários ESPM

Avaliação de programa 7

• Obter os principais :

• Aspectos positivos, ganhos,avanços, vantagens[por componente]

• Problemas, dificuldades, limitações, bloqueios, aspectos negativos[por componente]

• Gerar:

• Recomendações para cada componente• a partir das recomendações, definir atividades ,cronograma,

responsabilidades, custos de cada atividade ---> O PLANO DE AÇÃO __ ESPM

Avaliação de programa 8

• Objetivos:

• 1-Descrever a história recente das atividades do Programa[ 3 anos mínimo]

• 2-Descrever de forma quantitativa os ganhos,avanços alcançados e atividades do Programa

• 3-Definir os problemas, limitações,dificuldades,bloqueios, aspectos negativos

• 4-Recomendar os objetivos necessários para alcançar a solução dos problemas

• 5-Definir as atividades factíveis, aplicáveis em relação a realidade do país,região, local para alcançar os objetivos recomendados num tempo determinado ESPM

Avaliação de programa 9

• Baseia-se:

• a- Coleta e analise dos dados disponíveis• b- Trabalho de campo[visita ao terreno], estabelecimentos e ambientes de trabalho• c- Entrevistas individuais e de grupos[ grupos focais]

• Envolve 3 níveis do Sistema de Saúde:

• Central/nacional• Regional/ intermediário/sub-nacional• Operacional/[local] ESPM

Avaliação de programa 10

• Os resultados finais surgem da comparação entre os dados e informações obtidas em relação aos indicadores para cada componente identificado

• Obs: É necessário definir um padrão , os pressupostos básicos,indicadores[ a “teoria do programa” na acepção anglosaxonica-EUA

• Definir os instrumentos[ guias, questionários, roteiros de entrevistas, para cada nível do sistema de saúde] ESPM

Avaliação de programa 11

• Os participantes da equipe de avaliação do PAI, devem ser das seguintes áreas[ áreas mínimas] :

• Planejamento/Programação• Materno-infantil• Supervisão• Recursos humanos• Vigilância epidemiológica• Administração geral• Abastecimento e logística• Educação para a saúde e participação comunitária• Estatística e Sistema de informação• Atenção primária da saúde/ atenção médica ESPM

Avaliação de programa 12 • Período da avaliação: no máximo 4 semanas[ideal 3]• Fases:

• I-Preparação- Levantamento de material, seleção da amostra,garantir infra-estrutura de apoio

• II-Trabalho de campo-

• III-Dinâmica de grupo e elaboração do documento final da avaliação:

• a-relatório final das avaliação= com aspectos positivos, aspectos negativos, problemas e recomendações

• b-Plano de Ação= > com atividades, cronograma, responsabilidades, custos ESPM

Ex: Saúde do Trabalhador 13

• 1-Prioridade política• 2-Legislação/bases legais • 3-Dados demográficos• 4-Planejamento• 5-Programação• 6-Organização• 7-Coordenação• 8-Estratégias e Táticas• 9-Recursos[9-humanos, 10-de gestão,11-físicos e12- financeiros]• 10- Insumos, material necessário,. logística• 11-Capacitação• 13-Supervisão• 15-Sistema de informação• 16-Vigilância Epidemiológica[incluindo coberturas e risco]• 17-Avaliação e investigação• 18-Participação da Comunidade,Educação para a saúde, Mobilização social• 19-Satisfação dos usuários ESPM

Ex: Saúde do trabalhador 14

• Os participantes da equipe de avaliação do Saúde do trabalhador, devem ser das seguintes áreas[ áreas mínimas] :

• Área jurídica• Planejamento/Programação• Supervisão• Recursos humanos• Vigilância epidemiológica• Administração geral• Abastecimento e logística• Educação para a saúde e participação comunitária• Estatística e Sistema de informação• Atenção primária da saúde/ atenção médica, atenção a saúde do trabalhador e

acidentes de trabalho ESPM

A questão da validade 15

• Nas ciências sociais , a triangulação é usada freqüentemente para indicar que + de um método é usado no estudo para checar os resultados( uso de multimétodos)

• É também chamada de “exame cruzado” [“cross examination”]. A idéia é que que o resultado é + confiável quando diferentes métodos levam a este resultado

• Obs: De modo a maximizar a validade dos resultados da avaliação, as seguintes estratégias devem ser seguidas:

• 1. Durante a avaliação , os atributos dos seguintes itens devem ser padronizados:• a - pesquisador; b-técnica de pesquisa; c-contexto da pesquisa(avaliação)• Isto significa que os mesmos avaliadores(com atributos semelhantes)devem executar toda a

avaliação ,usando as mesmas técnicas de cada vez, no mesmo cenário( em termos de lugar,de tempo e de circunstâncias )

• 2. Durante a avaliação , os mesmos fenômenos devem ser estudados usando-se técnicas diferentes(selecionadas dos conteúdos das” caixas de ferramentas”, já que um alto grau de convergência entre esses resultados é significativo e maximiza as chances de validade.Este processo de buscar concordância e sobreposição é conhecido como Triangulação .

• 3. Ao analisar-se os resultados de uma avaliação ,tal como o corpo do texto produzido por uma questionário aberto/entrevista, o objetivo é conseguir a concordância de vários avaliadores na codificação dos dados, na identificação dos temas subjacentes, na interpretação. Isto é, vários pesquisadores/avaliadores devem ler e analisar o material e identificar as áreas de concordância.

• ESPM

Bibliografia 16

• OPS-Metodologia para la Evaluación Multidisciplinaria –HPM-PAI; febrero,1984(Borrador)• OPS-Metodologia para la Evaluación multidisciplinariade PAI a nivel país; octobre 2000 [também em inglês]• M.Anker,R J.Guidotti, S.Orzeszina, S.A. Sapirie, M C Thuriaux. Rapid Evaluation methods(REM)of health services

performance: methodological observations;1993.WHO Buletin OMS Vol 71(1):15-21• Guba,E.G & Lincoln,YS- Competing Paradigms in Qualitative Research- handbook of Antropology; capitulo 6-pg 105-

117• CDC,1999.framework for Program Evaluation in Public Health. Morbidity and Mortality Weekly Report(MMWR). .48(RR-

11)• Chen,H.T.;2003. Theory-Driven aproach for facilitation of planing health promotion or others programs- The Canadian

Journal Evaluation Vol 18 No2 pages 91-113• Verani;J.F-Metodologias de Avaliação aplicadas a programa de imunização: uma revisão bibliográfica-2004 • Verani;J. F- Uma construção da teoria avaliativa de programas de imunização-2004• Smith,G.Development of Rapid Epidemiologic Assessment Methods to Evaluate Health Status and Delivery of Health

Services. International Journal of Epidemiology 7.18(Suppl.2): S2-S15(1989)• Helman ,C.G 92003) Novos métodos de pesquisa em antropologia médica. In: Cultura, Saúde e Doença -4* edição• Scrimshaw,N.S,and/eds Gleason,G.R(eds)(1992). Rapid Assessment Procedures. International Nutricion Foundation for

Developing Countries (INFDC)• Fetterman,D.M.; Kaftarian,S.J.;& Wandersman,A.1996- Empowerment Evaluation: Knowledge and tools for self-

assessment and accountability. Thousand Oaks,C A: Sage, 411 p• Mattelart & Mattelart- histoire des Theories de la Comunication.Éditions La Decouvert e Syros,Paris,1995; ISBN:2-7071-

2469-9• Maranhão,E.P.S- Avaliação do Programa de Saúde do Trabalhador- pelo Rapid Evaluation Method[REM],uma proposta

metodológica, 2004• ESPM

Glossário 17

• Construtivista- é a idéia de que nada , a rigor , está pronto, acabado, e de que, especificamente, o conhecimento não é dado, em nenhuma instância como algo terminado.ele se constitui pela interação do individuo com o meio físico social, com o simbolismo humano,com o mundo das relações sociais;se constitui por força de sua ação e não por qualquer dotação prévia na bagagem hereditária ou no meio, de tal modo que podemos afirmar que antes da ação não há consciência e muito menos pensamentos.

na antropologia- A idéia de “Bricollage”(Levis Strauss), em inglês “Puzlle”(quebra-cabeça) Nominalismo- o conceito,idéia,essência comum a todas as coisas que indicamos é uma ato simples de nossa mente

expresso por um nome. Idealismo- tendência filosófica que reduz toda a existência do pensamento. Opõe-se ao realismo, que afirma a existência

dos objetos independentemente do pensamento.No idealismo absoluto, o ser é reduzido a consciência ao longo da história da filosofia, ele aparece sob formas menos radicais. Não nega categoricamente existência dos objetos no mundo, mas reduz o problema a questão do conhecimento

Ontologia- é a parte da filosofia que trata da natureza do ser, ou seja,da realidade, da existência dos entes e questões metafísicas em geral.

Epistemologia- é um ramo da filosofia que trata dos problemas filosóficos relacionados à crença e ao conhecimento. Hermenêutica- ramo da filosofia que se debate com a compreensão humana e interpretação de textos escritos. Dialética-arte no dialogo, demonstrar uma tese por meio de uma argumentação capaz de distinguir claramente os conceito envolvidos na discussão(Konder) ESPM

Referencias

• OPS .METODOLOGÍA PARA LA EVALUACIÓN MULTIDISCIPLINARIA DEL PROGRAMA AMPLIADO DE INMUNIZACIONES A NIVEL PAÍS Octubre 2000.

• OPS. Metodología para la Evaluación Multidisciplinaria-HPM-PAI; febrero,1984 (borrador).

• OPS. varios materiales desarrollados en las evaluaciones del PAI.[variados años -de 1984 hasta 2000] ESPM