Upload
internet
View
112
Download
2
Embed Size (px)
Citation preview
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
FUNDAÇÃO OSWALDO CRUZVICE-PRESIDÊNCIA DE DESENVOLVIMENTO INSTITUCIONAL, INFORMAÇÃO E COMUNICAÇÃO
DIRETORIA DE PLANEJAMENTO ESTRATÉGICOCOORDENAÇÃO DE MONITORAMENTO, AVALIAÇÃO E CONTROLE
INSTITUCIONALIZAÇÃO DA POLÍTICA DE MONITORAMENTO E AVALIAÇÃO DO
DESEMPENHO DA FIOCRUZ
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Monitoramento: Processo de acompanhar de modo sistemático e contínuo todos os componentes do plano estratégico durante a sua implementação, através do manejo de informações de forma ágil e oportuna.
Avaliação: Implica em realizar um julgamento de valor a respeito da implementação do plano estratégico da Fiocruz (PPA Fiocruz), em termos de eficácia, eficiência e efetividade, com o objetivo de fundamentar e alimentar o processo de tomada de decisão do controle do plano.
Monitoramento e avaliação no âmbito da Fiocruz
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Importância do monitoramento e avaliação
1. MELHORIA DO PROCESSO DECISÓRIO
• Cumpre os compromissos assumidos sobre os objetivos e
metas?
• Quais as causas do êxito ou do fracasso das ações
realizadas?
• É necessário modificar os objetivos e metas estabelecidos?
• Há necessidade de ações corretivas para melhorar a
eficácia, eficiência e efetividade
• Qual o impacto dos resultados sobre a saúde da população
e o sistema social e econômico?
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
TRANSPARÊNCIA E VISIBILIDADE. PRESTAÇÃO DE CONTAS:
• Corpos deliberativos internos (Congresso Interno, CD, etc.)
• Órgãos de Planejamento (MS, MP, MEC, MCT)
• Órgãos de Cooperação Financeira (CNPq, FINEPE, outros)
• Controle Social (CNS, etc.)
• Órgãos de Controle Externo (TCU)
Importância do monitoramento e avaliação
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Diretrizes do sistema de monitoramento e avaliação
3º) Não há monitoramento e avaliação sem plano.
2º) O sistema de monitoramento e avaliação não é para “avaliadores” ou “planejadores”; só há avaliação consistente com o envolvimento dos gestores, em todos os níveis de execução.
1º) Toda informação gerada deve servir para tomada de decisão.
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
SISTEMA DE MONITORAMENTO, AVALIAÇÃO E CONTROLE
MEGAOBJETIVOS
DESAFIOS
DIRETRIZES
PLANO NACIONAL DE SAÚDE – PNS
OBJETIVOS SETORIAIS
PROGRAMAS DO MS
PPA FIOCRUZ
PLANO ORÇAMENTÁRIO ANUAL
PLANO QUADRIENAL
Planejamento, monitoramento e avaliação na Fiocruz
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Desafios para institucionalização do sistema de monitoramento e avaliação
1. Exigência de um modelo teórico que explicite como se espera que o programa exerça sua influência ;
2. Exigência de dispositivos institucionais que estruturem o processo de monitoramento e avaliação, garantindo a qualidade e a validade deste processo.
(Hartz, 1999)
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Desafios metodológicos e político-institucionais na Fiocruz
• Definição de critérios e parâmetros de avaliação que dêem conta da complexidade da Fiocruz.
• Conhecimento do grau de implementação das ações do PPA previamente (“Baseline”)
• Integração das diferentes Unidades da Fiocruz para compor um olhar global sobre o desempenho das ações do PPA Fiocruz
• Necessidade de envolvimento institucional para tornar a avaliação válida (risco de avaliações externas não internalizadas).
• Superar a lógica da prestação de contas com base exclusiva na “produtividade”.
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Tabela 1 - Demonstrativo da execução física da Fiocruz 2002
Publicação indexada
Publicação não indexada
Autoria de livro
Capítulo de livro
Conferência em eventos científicos
Patentes concedidas
722
162
26
90
641
4
Produto 2002 2001% alcance
Metas 2002**
724
238
16
56
390
6
82
60
74
40
74
50
* Fonte: Relatórios de gestão 2001 e 2002** Percentuais fictícios
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Modelo lógico dos programas do PPA Fiocruz
Reconstituir a lógica dos programas permite rever os laços estabelecidos entre os elementos implicados na formulação do Plano Estratégico, desde o desafio ou situação-problema a ser resolvida, até os resultados esperados com as ações.
Permite pensar as informações e indicadores necessários para monitorar e avaliar os elementos que constituem o Plano Estratégico.
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Modelo lógico do programa C&T em Saúde
Situaçãoproblema
Componentes(Ações do PPA)
Produtos
Indicadoreseficácia
Indicadoreseficiência
Resultadosesperados
Indicadoresefetividade
Objetivos de curto/médio prazos
Inadequação tecnológica; dependência de importação; preços elevados; baixa oferta à população; afastamento entre a temática das pesquisas e as necessidades de saúde da pop.; carência de atividades de pesquisa...
DTIS Pesquisas clínicas, epidemiológicas...
Colocar novos insumos de saúde no mercado...
Fármacos, reagentes, vacinas desenvolvidos...
% de produtos colocados no mercado em relação ao total de projetos executados
Custo por produto
Redução da dependência externa; aumento do acesso da população a bens/ produtos de saúde; maior articulação entre as pesquisas realizadas e os problemas de saúde da população...
Ampliar o conhecimento sobre o processo saúde-doença-intervenção
Pesquisas realizadas, pesquisas publicadas...
% de pesquisas publicadas em relação ao programado
Custo médio por pesquisa realizada
Índice de substituição de importações de insumos/produtos de saúde% pesquisas publicadas em consonância com a Agenda Nacional de PS
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Níveis/Espaços de discussão/decisão
Fontes e fluxos de informação
Incentivos ao desempenho
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros
Programa: Educação permanente e qualificação profissional para o SUS
Ação: Formação de Recursos Humanos em Educação Profissional e de Pós-Graduação Stricto e Lato Senso, em saúde
Macroprocesso Produtos Subprodutos
Realização de cursos de pós-graduação stricto sensu
1-Curso oferecido
2- Egresso
-Cursos de Mestrado acadêmico-Cursos de Mestrado profissionalizante-Cursos de Doutorado
-Egresso de Mestrado acadêmico-Egresso de Mestrado profissionalizante-Egresso de Doutorado
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros
Programa: Ciência e Tecnologia em Saúde
Ação: Pesquisas clínicas, epidemiológicas e em ciências biológicas, humanas e sociais aplicadas à saúde
Macroprocesso Produtos Subprodutos
Elaboração, realização e avaliação de projetos de pesquisa
1-Projeto submetido a avaliação
2-Pesquisa Realizada
-Projeto submetido a avaliação interna-Projeto submetido a avaliação externa nacional-Projeto submetido a avaliação externa internacional-Projeto aprovado-Projeto aprovado nacional-Projeto aprovado internacional
-Etapa de pesquisa concluída por linha de pesquisa-Pesquisa realizada por linha de pesquisa
3-Publicações
-Publicação em revista indexada-Publicação em revista não indexada-Publicação em anais de congressos, etc-Publicação em livro-Publicação na WEB
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros
Programa: Atenção Especializada em Saúde
Ação: Atenção de referência a gestantes de alto risco, crianças e adolescentes com patologias de alta complexidade e a portadores de doenças infecciosas
Macroprocesso Produtos Subprodutos
Atendimento ambulatorial
1-Procedimento ambulatorial realizado
2-Paciente atendido em nível ambulatorial
-Consulta amb. realizada por médico-Consulta amb. realizada p/ outro prof.-Exame realizado-Atividade de grupo realizada
-Criança e adolescente atendidos-Mulher atendida-Gestante de alto risco atendida-Portador de doença infecciosa atendida
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros
Programa: Ciência e Tecnologia em Saúde
Ação: Desenvolvimento Tecnológico em Saúde Pública
Macroprocesso Produtos Subprodutos
Elaboração, realização e avaliação de projetos de DTSP
Processo/ método de saúde pública desenvolvido
-Etapa de desenv. de método de análise de produto desenvolvida-Etapa de desenv. de protocolo clínico desenvolvido-Tecnologia em Educação e Saúde desenvolvida
Patente-Patente depositada-Patente aprovada-Produto patenteado
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz
Produtos, indicadores e parâmetros
Indicadores: São formas de representação mensurável de características de estruturas, resultados, processos ou impactos, utilizados para acompanhar e avaliar uma ação estratégica ao longo do tempo.
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros
Tipos de indicadores:
Indicadores da Eficácia: Medem o grau de alcance das metas programadas, em um determinado período de tempo, independentemente dos custos/impactos implicados. Estes indicadores expressam, em geral, a quantidade absoluta ou relativa (%) da meta atingida.
% de produtos/ insumos tecnológicos produzidos em relação ao número de projetos submetidos a avaliação
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros
Tipos de indicadores:
Indicadores de Eficiência: Medem a proporção de recursos consumidos com relação às saídas dos processos (produtos). Em geral, contrapõem recursos utilizados e resultados obtidos. Os indicadores de eficiência são geralmente expressos como custo/eficácia ou custo/benefício.Custo médio por produto
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros
Tipos de indicadores:
Indicadores de Efetividade: Objetivam medir o grau de modificação da situação-problema (desafio) que deu origem à ação estratégica.
% de egressos do curso técnico profissionalizante que se inseriram no mercado de trabalho no primeiro ano
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros
Parâmetros:
Levarão em conta:
•Metas do Governo;
•comparação com padrões de referência internacionais;
•comparação com padrões de referência nacionais;
•metas definidas internamente pela Fiocruz;
•desempenho anterior.
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz
• Sistema Integrado de Informação Gerencial (SIIG)
• Fiolattes
• SIGA
Fontes e fluxos de informação
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz
• Departamentos
• Unidades
• Diretoria Executiva
• Presidência/ CD
• Congresso Interno
Níveis/Espaços de discussão/decisão
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz
• Analistas subsetoriais Diplan
• Sistema de Planejamento
• Coordenadores de Ação
• Câmaras Técnicas
Níveis/Espaços de processamento de informações
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz
•Prêmio Fiocruz de Excelência em Gestão Institucional
Incentivos ao desempenho
DIPLAN - III Coletivo de Dirigentes - 30/09/2004
As coisas são o que parecem ser;Ou não são e nem parecem ser;Ou são e não parecem ser;Ou não são e mesmo assim parecem ser.Identificar esses casosÉ a tarefa do homem sábio * Epictetus II DC, apud Fletcher et al. Epidemiologia Clínica, 1989
O desafio do monitoramento e avaliação...