View
213
Download
0
Category
Preview:
Citation preview
Usos da avaliação na prática institucional
Ana Cláudia Figueiró(GEAS-IMIP)
Rio de Janeiro, dezembro 2010
Idéias e conceitosModelo teóricoTensões e condiçõesCirculação dos eventos da avaliação
Idéias centrais
“…evaluation's most important purpose is not to prove, but to improve.” … o propósito mais importante da avaliação não é provar, mas sim melhor
(Stufflebeam. CIPP Model, 1999)
“All evaluations have a cost but not necessarily a value. Their value does not depend on their cost but on their use.” Todas as avaliações têm um custo mas não necessariamente um valor. Seu valor não depende do seu custo, mas do seu uso.
(Feinstein, 2002:433)
“Success is to be judged by… success in communication…”. O sucesso [da avaliação] será julgado pelo sucesso da comunicação
(Cronbach, L.J. (1982)
Suposição inicial: evidências científicas, produzidas por pesquisas rigorosamente conduzidas a cerca do sucesso ou fracasso de programas, seriam naturalmente utilizadas pelos tomadores de decisão, num modelo linear ligando os estudos à implementação de ações de qualidade e aos resultados esperados
Entendimento atual: variados e legítimos aspectos (interesses, valores, motivações, recursos) estão implicados nas decisões políticas e nos usos das avaliações para tomada de decisões
(WEISS, 1993; WEISS, 1999; CHAMPAGNE, 1999; BRAGA; ALBUQUERQUE; MORAIS, 2004; CHAMPAGNE; CONTANDRIOPOULOS; TANON, 2005)
Entendimento quanto aos usos das avaliações
Pressupostos
Avaliação não se traduz automaticamente em ações; como qualquer política ou intervenção, deve ser questionada em relação aos seus objetivos, inserção institucional, custos e conseqüências (positivas e negativas), pelos interessados e envolvidos na intervenção e na avaliação
A avaliação sendo uma intervenção tal como políticas e programas, deve ela mesma ser objeto de avaliação – Meta-avaliação
Meta-avaliação
Utilidade: atende as necessidades de informação dos usuários
Factibilidade: realista e moderada nos custos de modo a justificar a sua realização
Propriedade: conduzida eticamente, com respeito ao bem-estar dos envolvidos
Precisão ou acurácia: informa sobre o valor ou mérito dos programas avaliados com a devida validade
Especificidade: adequada ao tratamento da “especificidade das intervenções”
(CDC, 1999; 2004; STUFFLEBEAM, 2001; HARTZ, 2006; HARTZ; GOLDBERG; FIGUEIRÓ; POTVIN, 2008; FIGUEIRÓ; HARTZ; THULER; DIAS, 2008)
Usos da Avaliação
Definição frequente, Leviton e Hughes (1981): “… is confined here to use of evaluation results for programs and policy only, not by academicians or by the press…” (p.526)
(refere-se ao uso dos resultados da avaliação pelos programas e política, não por acadêmicos ou pela imprensa)
Redefinindo Uso (Patton, 2007)
Uso é um processo e não um evento Uso envolve acompanhamento e
facilitação e não apenas elaboração de um relatório
Uso envolve preparação e treinamento para o uso, não apenas disseminação de resultados
Dos usos dos resultados aos usos processuais da avaliação
O uso processual refere-se a e é indicado pelas mudanças individuais, de pensamento e comportamento, e mudanças programáticas ou organizacionais nas práticas e cultura que ocorre entre os envolvidos, como resultado da aprendizagem que se realiza durante o processo avaliativo. Essas podem acontecer para além dos resultados finais da avaliação
(PATTON, 1997; 2005; 2007)
Componentes implicados na utilização das avaliações
Debate se estrutura em quatro blocos ou pilares: modelos de uso da avaliação modos de produção do conhecimento níveis de influência da avaliação avaliação com foco na utilidade
(HARTZ, DENNIS, MOREIRA, MATIDA, 2008)
TIPOS DE INFLUÊNCIA
FontesProcessosResultados
IntençãoPrevistaInesperada
MomentoImediatoCiclosLongo prazo
IndividualAtitudes
Habilidades
Condutas
InterpessoalPersuasãoLideranças
OpiniõesNormas sociais
ColetivoAgenda Política Aprendizagem Organizacional
Melhorias sociais
NÍVEIS DE INFLUÊNCIA
MODELOS DE USO
InstrumentalPolítica ou SimbólicaConhecimentos Novos
MODOS DE PRODUÇÃO DO CONHECIMENTO
DisciplinarContextual
COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO (Hartz, 2008)
Historicidade (Contexto-Tempo): múltiplas linhas de evidênciasKirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999
AVAL
IAÇÃ
O C
OM
FO
CO N
A U
TILI
DAD
E
Expectativa do avaliador
Uso instrumental: uso dos resultados da avaliação para informar a tomada de decisão, preferencialmente no curto prazo (Amara et al, 2004)
Isso acontece?? “O avaliador tem que aceitar que mesmo quando tem o
comprometimento dos gestores e administradores; conduz o estudo dentro dos propósitos da instituição e de forma metodologicamente competente; finaliza e entrega os resultados dentro do prazo previsto para as decisões e dissemina os achados; ainda assim seus resultados são ignorados” (Weiss, 1998)
Tensões para o uso da avaliaçãoOs diferentes mundos em que parecem viver:
gestores, coordenadores de políticas e programas, e
pesquisadores sociais, entre esses os avaliadores
“…cientistas sociais vêm a si mesmo como: racionais, objetivos e novas e abertas idéias, e tomadores de decisão como orientados pela
ação e interesses, e indiferentes a evidências e novas idéias
Tomadores de decisão vêm a si mesmo como: responsáveis, orientados para ação e
pragmáticos, e cientistas como ingênuos, scientists as naive,
cheios de jargões e irresponsáveis quanto à realidade prática
Comunicação de mão-dupla entre os dois campos pode facilitar um entendimento mútuo das questões políticas e o tipo de conhecimento necessário” Innvær (2002)
a qualidade do conteúdo de pesquisas e políticas, com ênfase nos problemas de linguagem (referidos como desprezo intelectual mútuo)
questões ligadas às interações do ator, como as diferentes formações técnicas e culturas políticas, confrontando experiência e informação científica
o canal de comunicação em contextos políticos e organizacionais, reforçando o necessário desenvolvimento de capacidade para criar interesses e a competência em estabelecer elos (TROSTLE, 1999)
Dificuldade na condução e tradução das avaliações que tragam respostas para as necessidades dos tomadores de decisão e contribuam efetivamente para as melhorias sociais
(WEISS, 1993; POUVOURVILLE,1999; TROSTLE, 1999)
Tensões para o uso da avaliação
O uso das avaliações não só não acontece naturalmente como precisa ser facilitado, e facilitar o uso é parte fundamental do trabalho do avaliador
(PATTON, 1997; WEISS, 1999; MARK; HENRY, 2004)
Para utilizar as avaliações
Características e mecanismos com maior influência na utilização das avaliações: participação dos grupos interessados
(stakeholders) no processo de avaliação
avaliador como facilitador no desenvolvimento do processo, comprometido com o envolvimento e com a promoção da aprendizagem organizacional
(PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009)
Para utilizar as avaliações
Análise contextualizada Para ser útil, a avaliação deve ter foco no contexto, nos
textos produzidos pelos diversos atores e seus significados
“Os itens discutidos pelos avaliadores (o avaliando, sua eficácia, teoria do programa, etc.) são textos. O programa e sua lógica; os tipos de técnicas; as descobertas da avaliação estão condicionados pela maneira como foram compreendidos e interpretados por cada ator (incluindo o avaliador), de acordo com suas restrições formais, morais e normativas” (BEZZI, 2006 “Evaluation Pragmatics”)
Para que os atores aprendam com a avaliação, a análise deve fazer sentido da perspectiva dos atores envolvidos. Interpretações e interações de atores desempenham um papel não somente na produção de resultados, mas também no aprendizado como conseqüência da avaliação
(VAN DER MEER&EDELENBOS,2006)
Contexto organizacional(THOENIG, 2000; TROSTLE 1999; GARCIA, 2001; HANNEY; GONZALEZ-BLOCK; BUXTON; KOGAN, 2003; TORRES; PRESKILL, 2001; TAUT, 2007; FELISBERTO et al, 2009)
Condições requeridas para que a avaliação na melhoria contínua das ações programáticas: capacidade de produzir as informações demandadas
pela gestão credibilidade dos avaliadores qualidade dos estudos acesso dos avaliadores as lideranças influentes na
organização legitimação institucional da avaliação pelo avaliado comprometimento dos avaliadores com a
continuidade do aprendizado organizacional tempo para reflexão, exames do temas retratados e
diálogo entre avaliadores, staff dos programas e lideranças organizacionais
A circulação dos eventos da avaliação configurando seus usos
Num processo de aprendizado social pesquisadores, implementadores e usuários aprendem a partir de experiências e interações
Princípios da teoria da tradução poderão facilitar uma melhor compreensão dos elementos, elos e pontes entre esses dois mundos, em sua dinâmica mútua e contínua (HARTZ, 2008)
O elemento central é a rede sócio-técnica: teia de atuantes (humanos e não humanos) ligados entre si numa cadeia onde interagem conhecimento, aparatos e capacidade técnica, mediações, ações (CALLON; LATOUR, 1991 apud POTVIN, 2007; LATTOUR, 2006)
No interior das redes sócio-técnicas processam-se as traduções entre fatos científicos e ações
As traduções ocorrem por meio de negociações entre os atuantes
Produz-se um novo conhecimento a partir do entendimento entre diferentes perspectivas e argumentos
Emergem novas proposições para ação, fruto do alinhamento de interesses e objetivos que integram e dialogam com as divergências (CALLON; LATOUR, 1991 apud POTVIN, 2007)
A circulação dos eventos da avaliação configurando seus usos
Circulação dos fatos da avaliaçãoNa perspectiva de circulação dos fatos científicos,
os usos da avaliação se inserem num processo de tradução:
As cadeias de tradução se referem ao trabalho pelo qual os atores modificam, deslocam e traduzem os seus interesses diversos e contraditórios
A referência circulante, produzida com os deslocamentos de atuantes, qualifica a cadeia de transformações
Quando as controvérsias entram em cena, o resultado é um entendimento maior e mais amplo para os programas de ação e minimização de reações
TIPOS DE INFLUÊNCIA
FontesProcessosResultados
IntençãoPrevistaInesperada
MomentoImediatoCiclosLongo prazo
IndividualAtitudes
Habilidades
Condutas
InterpessoalPersuasãoLideranças
OpiniõesNormas sociais
ColetivoAgenda Política Aprendizagem Organizacional
Melhorias sociais
NÍVEIS DE INFLUÊNCIA
MODELOS DE USO
InstrumentalPolítica ou SimbólicaConhecimentos Novos
MODOS DE PRODUÇÃO DO CONHECIMENTO
DisciplinarContextual
COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO
Historicidade (Contexto-Tempo): múltiplas linhas de evidênciasKirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999
AVAL
IAÇÃ
O C
OM
FO
CO N
A U
TILI
DAD
E
1.Mobilização(instrumentos)
2.Autonomização(colegas)
3.Alianças(aliados)
4.Representação pública
5.Nós e vínculos
Circulação dos fatos da avaliação
2.Autonomização(colegas)
1.Mobilização(instrumentos)
3.Alianças(aliados)
4.Representação pública
5.Nós e vínculos
Tipos e níveis de influência
Modos de produção do conhecimento
Avaliação baseada na utilidade
Modelos de uso
Modelo teórico-operacional para análise os usos da avaliação
Usos da avaliação na produção de novos eventos
APRENDIZAGEM ORGANIZACIONAL
CONTROVÉRSIAS
2.Autonomização(colegas)
1.Mobilização(instrumentos)
3.Alianças(aliados)
4.Representação pública
5.Nós e vínculos
Tipos e níveis de influência
Modos de produção do conhecimento
USOS DA AVALIAÇÃO
APRENDIZAGEM ORGANIZACIONAL
Avaliação baseada na utilidade
Modelos de uso Consequências
Eventos e Mediações
Na prática...
Sistematização dos achados
Revisão e Síntese da literatura
Apresentação e discussão dos achados com os envolvidos no PNCD
Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão
Ficha síntese de produção técnica e científica
Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa
Revisão das iniciativas de capacitação de médicos SES (Estado 1)
Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS
Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS
Uso dos óbitos investigados como casos clínicos p/ capacitação de médicosElaboração de material instrucional
Teste do instrumento de investigação de óbito pelo NEPI de Hospital Geral: validação operacional
Discussão e recomendações para os diversos envolvidos: profissionais, gerentes, coordenadores da SES – avaliação do Projeto Unidade Sentinela
Apresentação e discussão com chefias e profissionais dos setores relacionados aos óbitos investigados, com encaminhamentos de mudança de condutas no serviço
Momento Imediato Múltiplas fontes de evidências Momento de médio prazo
Realização do 1º Seminário Internacional de Avaliação do PNCD
Painel de experts: apreciação de lacunas e avanços no programa e avaliação
5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade
Análise Lógica do PNCD
Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS
Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto
Elaboração do Projeto de Avaliação
HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos, influências e conseqüências da avaliação do PNCD
Sistematização dos achados
Revisão e Síntese da literatura
Apresentação e discussão dos achados com os envolvidos no PNCD
Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão (MEDIADOR)
Ficha síntese de produção técnica e científica
Realização do 1º Seminário Internacional de Avaliação do PNCD
Painel de experts: lacunas e avanços no programa e avaliação
5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade
Análise Lógica do PNCD
Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS
Elaboração do Projeto de Avaliação
HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD
2007 2007 2008 2008
Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa
Revisão das iniciativas de capacitação de médicos SES (Estado 1)
Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS
Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS
Uso dos óbitos investigados como casos clínicos p/ capacitação de médicosElaboração de material instrucional
Teste do instrumento de investigação de óbito pelo NEPI de
Hospital Geral: validação operacional
Discussão e recomendações para os diversos envolvidos:
profissionais, gerentes, coordenadores da SES –
avaliação do Projeto Unidade Sentinela
Apresentação e discussão com chefias e profissionais dos
setores relacionados aos óbitos investigados, com
encaminhamentos de mudança de condutas no serviço
Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto
HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD
2008
Institucionalização e Usos da Avaliação CGPCND-SVS
BIBLIOTECA VIRTUAL
Fortalecer a Capacidade Avaliativa com foco na Qualidade e UTILIDADE da Avaliação
EDUCAÇÃO PERMANENTE
UNIDADE GESTORA (CÉLULA)
DE AVALIAÇÃO DA CGPNCD
COOPERAÇÃO TÉCNICA – Centros colaboradores
MONITORAMENTO E AUDITORIA
ESTUDOS E PESQUISAS
Constituição da “célula de avaliação” na CGPNCD: articulação dos componentes
Gestão dos estudos segundo as orientações propostas Avaliação da Gestão Descentralizada e Integrada do PNCD Avaliação da Qualidade da Assistência aos Pacientes de Dengue Qualificação dos Planos de Contingência Municipais
Configuração preliminar de uma Biblioteca Virtual sobre Dengue que facilite o livre acesso ao material indexado - Ficha de Leitura, Sistemática para indexação dos achados e recomendações de publicações de avaliação do programa
Construção do Modelo Lógico do Programa para o âmbito estadual de gestão e orientação para o federal
Educação Permanente Realização do Curso Básico de Avaliação em Saúde em EAD SES e
MS Realização dos Seminários de Avaliação do PNCD articulado com
parceiros nacionais e internacionais
Usos da avaliação requer o fortalecimento da capacidade avaliativa nas instâncias de gestão
Obrigada!anafigueiro@imip.org.br
Recommended