Outubro / 2011
Monitoramento e Avaliação em
Saúde no Estado de São Paulo
José Dínio Vaz Mendes (CPS/SES/SP)
Conceituação Básica
• Avaliação é um julgamento de valores Sobre o que um plano, projeto ou programa efetivamente
realizou em relação aos seus objetivos e às atividades planejadas
Busca conhecer, analisar e qualificar o que foi feito em uma dada área, órgão ou serviço em relação a um resultado esperado ou a parâmetros estabelecidos
• Monitoramento é a observação e o registro regular das atividades ou resultados de um plano, projeto ou programa
• Ambos visam verificar se foram atingidos os objetivos e a adoção de medidas para superar os problemas detectados
AvaliaçãoMonitorament
o
Processo de Planejamento
InformaçõesModificações
Matéria Prima Ações
Resultados
Interferir sobre uma dada situação
IdeaisDiretrizesObjetivos
Não se trata de assunto novo - as normas regulamentadoras do SUS já previam a importância da
informação/ avaliação
• Lei Federal n.º 8.080/1990
Art. 7º (princípios e diretrizes do SUS): – Inciso VI - divulgação de informações quanto ao potencial dos
serviços de saúde e a sua utilização pelo usuário; – Inciso VII - utilização da epidemiologia para o estabelecimento
de prioridades, a alocação de recursos e a orientação programática;
No Art. 15º - define-se como atribuição comum da União, dos Estados e dos Municípios:– Inciso III - o acompanhamento, avaliação e divulgação do nível
de saúde da população e das condições ambientais– Inciso IV - a organização e coordenação do sistema de
informação de saúde
• Lei Federal n.º 8.080/90 (cont.) - como competência específica do nível estadual, estabelece-se no Art. 17º: Inciso II: o acompanhamento, controle e avaliação das redes
hierarquizadas do SUS Inciso XIV: o acompanhamento, a avaliação e divulgação dos
indicadores de morbidade e mortalidade no âmbito da unidade federada
• Na Norma Operacional Básica – NOB n.º 1/96, do MS - papel do gestor estadual na área de informação: a prática do acompanhamento, controle e avaliação no SUS,
superando os mecanismos tradicionais, centrados no faturamento de serviços produzidos, e valorizando os resultados advindos de programações com critérios epidemiológicos e desempenho com qualidade
informação informatizada e estruturação e operacionalização dos sistemas de processamento de dados, de informação epidemiológica, de produção de serviços e de insumos críticos
Portaria/GM nº 399/2006 Pacto pela Saúde
• Diretrizes - na área de informações:
Formular metodologias e modelos básicos dos instrumentos de planejamento, monitoramento e avaliação que traduzam as diretrizes do SUS, com capacidade de adaptação às particularidades de cada esfera administrativa;
Apoiar e participar da avaliação periódica relativa à situação de saúde da população e ao funcionamento do SUS, provendo os gestores de informações que permitam o seu aperfeiçoamento e ou redirecionamento;
Pacto pela Saúde (cont.)• Como papel estadual (informações)
Operar os Sistemas de Informação epidemiológica e sanitária de sua competência, bem como assegurar a divulgação de informações e análises (...);
Desenvolver, a partir da identificação das necessidades, um processo de planejamento, regulação, programação pactuada e integrada da atenção à saúde, monitoramento e avaliação;
Monitorar e avaliar o desempenho das redes regionais hierarquizadas estaduais;
Implementar avaliação das ações de saúde nos estabelecimentos, por meio de análise de dados e indicadores;
Realizar o acompanhamento e a avaliação da atenção básica no âmbito do território estadual
Desafios
• Porque algo necessário, importante e desejado há muitos anos se desenvolve com dificuldade no SUS?
• Desafios
Do planejamento em saúde
Dos recursos humanos
Da informação, dos sistemas de informação e da informatização do SUS
Desafio do planejamento no SUS
• Como monitorar e avaliar na ausência de programas e ações planejadas adequadamente ?
• Avaliação / Monitoramento - dependem de estabelecimento de objetivos, metas e da definição de um rol de informações para acompanhamento (indicadores) – se sabemos o que queremos fazer, sabemos o que acompanhar e quando intervir
• Planejamento “burocrático” – falta relação entre diagnóstico inicial, ações previstas e processos de avaliação
• Planejamento “sonhador” – exprime desejos dos técnicos/ interessados de cada área, mas não está integrado com orçamento, não possibilita o estabelecimento de quantificação (metas) e de indicadores para as ações
Desafio dos recursos humanos• Exige equipes suficientes e preparadas
“Cultura” de avaliação x “resistência” aos númerosPara trabalhar a informação, planejar, programar e
avaliar/monitorar os resultados
• Conhecimento ( é uma das matérias primas)Dos aspectos técnicos dos temas da áreaDa história das iniciativas já feitasDos sistemas de informação existentes, suas limitações e
fortalezasCapacitação, educação continuada, mecanismos de
discussão e troca de informações entre equipes – são iniciativas que aperfeiçoam o processo
Desafio dos recursos humanos
• Ambiente institucional (outro lado da moeda) – que estimule o uso do conhecimento e os processos de avaliação/monitoramentoGestores que queiram saber o que ocorreu, porque e
quando ocorreu – saibam ouvirDisposição de mudar as trajetórias estabelecidasCapacitações e cursos que estejam inseridos no processo
de trabalho e de planejamento
• É muito difícil que a informação produzida, isoladamente, resulte em mudanças significativas em uma instituição
Municípios do Estado de São Paulo segundo faixas populacionais - 2010
Faixa da população
Nº de Municípios
% Municípios
População Total % Pop
< 10 mil 279 43,3 1.373.955 3,3
10 - 49 mil 242 37,5 5.662.010 13,7
50 - 99 mil 49 7,6 3.402.226 8,2
> 100 mil 75 11,6 30.824.008 74,7
Total 645 100 41.262.199 100,0
• Como trabalhar tecnicamente em pequenos municípios? Descontinuidade técnica, baixa qualificação• Como trabalhar sem equipes regionais adequadas?
Desafio das informações• Para a consecução das diretrizes do SUS – é
fundamental a utilização de informações qualificadas para decisão dos gestores do sistemaConhecimento da situação de saúde – prioridadesSubsídio para a elaboração de planos, programas e
implementação de ações e serviços de saúde segundo as prioridades detectadas
Acompanhamento das medidas tomadas – avaliação, monitoramento – mudança de rumos
• Democratização da saúde – o Estado tem o dever de informar aos cidadãos sobre o que ocorre com sua saúde e o que é feito para sanar os problemas
Informação no SUS• A disponibilização de informações melhorou muito desde a
criação do SUSDATASUS – bancos de dados disponibilizados pela
Internet, tabnet, tabwin, IDB, cadernos de saúde e situação de saúde, entre outros
Tem sido feito um esforço para valorizar as informações existentes – pacto de atenção básica, de gestão, entre outros
• Contudo, a decisão na saúde Ainda guarda fortes características de uma ação casuística,
pouco baseada em informações relevantesAs tentativas institucionais de avaliação/monitoramento
têm pouca efetividade nas mudanças das ações/atividades do sistema
Iniciativas institucionais de avaliação
• Pacto de Indicadores da Atenção Básica avaliar o alcance das modificações introduzidas na
atenção básica (PACS, PSF, PAB) o resultado da ação dos serviços de atenção básica e os
possíveis problemas no seu desenvolvimento Portaria nº 3.925/1998 – pactuação de metas entre as
três esferas de governo e a definição de indicadores de acompanhamento da sua implementação
Conjunto de portarias para definir os indicadores ano a ano, 1999 (41 indicadores), 2000 (30), 2002 (25 principais e 22 complementares), 2003 e 2004 (20 e 14) até 2006 (30)
Aplicativo – Sispacto a partir de 2002
• A partir de 2007 – Pacto pela Saúde (40) indicadores
Avaliação/monitoramento a partir dos indicadores dos Pactos
• Utiliza os Sistemas Nacionais de Informação do SUS – resumindo as informações em um único sistema de monitoramento Tem as limitações próprias desses sistemas Não foi incorporado como instrumento de gestão – não é integrado
com o conjunto de ações de cada gestão
• Rol de indicadores Mudanças freqüentes dos indicadores Nem sempre com justificativas claras Difícil interpretação em municípios e regiões pequenas Fixação de metas arbitrárias – indicadores de resultado
• Evolução positiva nas regulamentações, conceituação, interpretação, uso e limitações dos indicadores incluídos Valorização da informação e compreensão dos indicadores
Qualidade e oportunidade das informações para avaliação/monitoramento
• As informações no SUS têm origens e finalidades diferentes – difíceis para integrar e utilizar
• Sistemas concebidos para uso estatístico-epidemiológico: SIM, SINASC, SINANAbrangência do sistema – cobertura boa no ESPPeriodicidade – demora no acesso às informações –
dificulta desenvolvimento de ações de correçãoQualidade do preenchimento – ex.: causa básica/óbitos mal
definidos, problema que pode ser importante dependendo da região
Interpretação – multidimensional – medem resultados de que?
• Concebidos para faturamento: SIH, SIA Abrangência do sistema – cobertura
– É problema significativo em São Paulo – lembrar que abrangem apenas os serviços ligados ao SUS – não inclui a produção da rede de saúde suplementar (44% no ESP)
– Prejudica bastante a avaliação da cobertura assistencial – equidade entre as regiões
– Ex.: cobertura de mamografias, produção por equipamento
Qualidade das informações– Tem informações de morbidade hospitalar– O SIA não contempla origem (residência) dos pacientes ou causa
do procedimento (morbidade ambulatorial) – não é fácil de trabalhar mesmo as informações de APACs
– O uso de informação exige conhecimento das “manhas” do sistema (tabela SUS, forma de faturamento)
– Evolução histórica - dificuldade pelas mudanças nas tabelas
Outros sistemas
• SIAB – tem informações de situação de saúde, desempenhoLimitado ao PSF/PACS – abrangência limitada no ESP
• Sistemas de cadastroCadastro de pacientes – cartão SUS – há pelo menos 10
anos em implantação CNES – dados imprecisos, divisão entre SUS e não SUS
não é adequada (equipamentos, leitos), RH com erros freqüentes (médicos, etc.)
• SIOPS – financiamento revisões bastante atrasadas e como avaliar investimentos
por tipo de atividade / ação / serviço / per capita?
Tecnologia (informatização)• Equipamentos físicos e aplicativos – como devem ser
De fácil compreensão, rápidos e inseridos na rotina, flexíveis e evitando-se a “multiplicação” dos programas
Padronizar procedimentos, integrar as informaçõesPermitir o acesso à informação onde e no tempo em que
for necessáriaApresentá-las de forma a facilitar sua compreensão e
acelerar os processos de tomada de decisão• Nas regiões e municípios – baixa conectividade e acesso
inadequadoAssistencial (ex.: marcação de consultas, resultados de
exames)Epidemiológico (conhecimento da situação de saúde)
Iniciativas recentes das informações na SES/SP
• Desde 2007, por ocasião do desenvolvimento
Pacto de Gestão, Termos de Compromisso de Gestão, PPI, Plano Estadual de Saúde (2008-2011) + Plano Operativo Anual - POA, Regionalização / Implantação dos CGR, entre outras coisas
• Foi avaliado que a SES não tinha nenhum instrumento sistemático para avaliar a situação de saúde no Estado
• Nível central deveria oferecer subsídios para avaliação e ação nas Regiões de Saúde
Foram feitas algumas propostas à época
• Criação de um grupo ou colegiado, com representação de diversas áreas e Coordenadorias para a avaliação da Situação de Saúde (ou outro nome que se proponha), sediado na CPS Resolução SS – 48, de 2009 – Grupo Técnico de Avaliação
e Informações de Saúde – GAIS• Publicação e disponibilização na Internet de documentos
técnicos com análise sobre assuntos de interesse (Portal/SES) 7 números do Boletim Eletrônico GAIS7 encartes da revista Boletim Epidemiológico Paulista –
BEPA, espaço este denominado “Saúde em Dados – Contextualização”
Caderno de “Indicadores de Saúde do Estado de São Paulo – 2010”
Publicação de Indicadores
• Definição de elenco mínimo de informações sistematizadas (como na metodologia RIPSA – IDB)
• Matriz de Indicadores de Saúde Site da SES/SP : http://www.saude.sp.gov.br/53 indicadores:
– Demográficos e socio-econômicos – 9; Financiamento – 1– Rede de serviços – 22– Condições de vida e saúde – 21
Em publicação (com desagregação até as 64 regiões de saúde)
Na internet – informações desagregadas até município e desde 2007
Monitoramento da AB no Estado de São Paulo
• Parceria SES-SP & Cealag• O objetivo principal – produzir informações sistemáticas da
AB dos municípios paulistas a partir das bases de dados disponíveis, com vistas ao seu monitoramento.
– Selecionar indicadores para monitoramento da Atenção Básica no Estado de São Paulo;
– Identificar grupos de municípios com características comuns entre si, no que se refere aos indicadores
– Descrição das Regiões de Saúde a partir dos indicadores de condições de saúde
– Desenvolver sistemática de tratamento dos indicadores de saúde que permita subsidiar a elaboração e implantação de sistema para monitoramento da Atenção Básica no Estado de São Paulo
Monitoramento da AB no Estado de São Paulo
• Selecionados 28 indicadores• Dimensões e indicadores
Estrutura do Sistema de Saúde (financiamento, estrutura física, recursos humanos e cobertura) - 4
Condições de Saúde da População (morbidade e mortalidade) - 7 Desempenho do Sistema (acesso, efetividade, continuidade e
adequação) – 9 Contexto (Demográficos e Socioeconômicos) – 8
• Municípios foram agrupados em 6 grupos Ex.: Grupo 1 – Municípios de pequeno porte populacional, com
indicadores de riqueza municipal desfavoráveis; oferta de serviços boa e financiamento abaixo da média; desempenho do sistema intermediário em termos de internações evitáveis e oferta de procedimentos básicos, e com baixo desempenho em vigilância epidemiológica e programa de imunização
SUB-DIMENSÃO
INDICADOR E PERÍODO DE REFERÊNCIA
demográfico 1. População Total – estimativa para 2008
demográfico 2. Densidade Demográfica, 2008 demográfico 3. Taxa de Urbanização, censo 2000 demográfico 4. Percentual de Idosos, 2008 demográfico 5. IPRS 2006-logevidade sócio-econômico 6. IPRS 2006-riqueza sócio-econômico 7. IPRS 2006-escolaridade sócio-econômico 8. PIB per Capita (em reais
correntes), 2007
Dimensão Contexto
SUB-DIMENSÃO INDICADOR E PERÍODO DE REFERÊNCIA
mortalidade 9. Coeficiente de Mortalidade Infantil, 2008
mortalidade 10. Coeficiente de Mortalidade Pós neonatal, 2008
mortalidade 11. Coeficiente de Mortalidade por Neoplasia Colo do Útero (C53), 2008
mortalidade 12. CMI por afecções originadas no período perinatal, 2008
mortalidade 13. Mortalidade proporcional por D. Ap. Circulatório < 60 anos, 2008
morbidade 14. Percentual de nascidos vivos com peso < de 2,5 KG, 2008
morbidade 15. Incidência de sífilis congênita, 2008
Dimensão Situação de Saúde
SUB-DIMENSÃO INDICADOR E PERÍODO DE REFERÊNCIA
cobertura 16. Percentual de pessoas cadastradas no PSF, 2008
recursos humanos
17. Médico Atenção Básica / habitante, 2008
cobertura 18. Percentual de Pop. coberta pela Saude Suplementar, 2008
financiamento 19. Percentual de despesa própria com saúde (EC 29), 2008
Dimensão Estrutura
SUB-DIMENSÃO INDICADOR E PERÍODO DE REFERÊNCIA
continuidade 20. Percentual de NV com 7 ou mais cons. pré-natal, 2008
adequação 21. Razão de exames citopatológicos de colo uterino em mulheres 25 a 59 anos, 2008
acesso 22. Cobertura vacinal tetravalente, 2008 acesso 23. Num. Consultas Básicas por Habitante,
2008 efetividade 24. Percentual de ICSAB no total de
internações, 2008 efetividade 25. Proporção de casos novos de
tuberculose curados, 2008 efetividade 26. Taxa de Internação por AVC de 30 a 59
anos, 2008 efetividade 27. Taxa internação por DM 30 a 59 anos,
2008 Adequação 28. Proporção de casos de DNC
encerrados oportunamente, 2008
Dimensão Desempenho
Monitoramento da AB no Estado de São Paulo• As informações estão disponíveis na Internet
Acesso pelo portal da SES (área de atenção básica) ou diretamente
http://www.cealag.com.br/Trabalhos/MonitoramentoAB/index.html
• Outra iniciativa: QualiAB Programa de Avaliação e Monitoramento dos Serviços de Atenção Básica do Estado de São Paulo Feito em parceria com a UNESP aplicação de um instrumento de avaliação da qualidade
de serviços auto aplicável (questionário QualiAB) para resposta on line pelas equipes das unidades básicas
Monitoramento da AB no Estado de São Paulo
• Objetivos do QualiAB: Estimular o desenvolvimento de uma cultura avaliativa
com o envolvimento dos gestores municipais e equipes locais de saúde
Contribuir com o fortalecimento das Políticas de Atenção Básica no Estado de São Paulo
Seus resultados são objeto de discussão dos CGR e da ação dos articuladores de atenção básica da SES
• Ambas as ferramentas serão atualizadas e aperfeiçoadas – servirão de base para orientar as políticas estaduais para a AB nos próximos anos
Perspectivas
• Novo Plano Estadual de Saúde – 2012 a 2015Objetivos e ações melhor estruturados – permitam metas
e indicadores de acompanhamento e avaliaçãoDiscussão regional – conhecimento das necessidades e
características de cada região
• Estabelecimento das Redes Regionais de Atenção à Saúde – RRAS no Estado de São PauloConhecimento da rede assistencialEstímulo à lógica da necessidade x oferta – exige
conhecimento do que se quer fazer e do que se é capaz de fazer
Definição das competências e responsabilidades de cada ponto das redes
Perspectivas
• Decreto nº7.508 /2011 – contrato organizativo da ação pública de saúde (...) indicadores e metas de saúde; critérios de avaliação dos
resultados e forma de monitoramento permanente Art. 41. Aos partícipes caberá monitorar e avaliar a execução do
Contrato Organizativo de Ação Pública de Saúde, em relação ao cumprimento das metas estabelecidas, ao seu desempenho e à aplicação dos recursos disponibilizados
• Programa de Avaliação para a Qualificação do Sistema Único de Saúde Consulta Pública nº 2, de 7 de abril de 2011 38 indicadores para avaliação do desempenho dos sistemas de saúde
Perspectivas• Aperfeiçoamento da Matriz
Discussões regionais para aprofundamento do conhecimento e uso do instrumento e dos indicadores
Revisão do rol de indicadores Desenvolvimento de “rotinas de alerta” a partir de
determinados indicadores – relativos aos valores ou às inconsistências observadas
Aperfeiçoamento dos sistemas de informação – a partir das inconsistências observadas
• Recursos Humanos Discussão entre as coordenadorias envolvidas (CRS, CPS
e CRH) para criar formas de capacitação e educação que atendam às necessidades atuais de informação/avaliação
Perspectivas
• Outras iniciativas Desenvolvimento de “Atlas da Saúde” – disponibilização
de coleção de mapas com apresentação regional de indicadores e taxas para facilitar a visualização espacial das diferenças regionais
Criação de ferramenta na Internet para criar espaço específico de divulgação e discussão sobre os indicadores, sistemas de informação e seus resultados com os DRS e as regionais
Consulta ao Ministério da Saúde para adaptação de ferramenta de situação de saúde para as necessidades do ESP ou criação de ferramenta semelhante – permitindo informações municipais, regionais, por DRS
Perspectivas
• Atividades sistemáticas para avaliar e melhorar a qualidade de informaçõesEm conjunto com os DRS, CRS e municípiosMelhor qualidade de informação é essencial – também
para avaliação de contratos
• Aperfeiçoamento da informatização da rede SUSCartão SUS – condição fundamental para o acesso e a
regulação– Saber quem e onde os cidadãos estão sendo atendidos
Integração de sistemas de informação – fundamental para as atividades de avaliação e monitoramento
Para o estabelecimento de mecanismos de avaliação e monitoramento ainda é importante destacar
• Linhas de cuidado – saber o que fazer Conjunto de saberes, tecnologias e recursos necessários ao
enfrentamento de determinado risco, agravo ou condições específicas do ciclo de vida, a serem ofertados de forma articulada pelo sistema de saúde, com base em protocolos clínicos
É possível estimar as necessidades assistenciais
• Análise de indicadores – saber o que esperar Comparação de regiões e municípios Agrupamento segundo características comparáveis – tamanho,
IPRS, etc Prever ações corretivas quando os indicadores estão fora da
média esperada para o grupo – no lugar de pactuar “metas” incalculáveis
Conclusões• O uso das informações no SUS avançou significativamente –
precisamos avançar na qualidade, integração de sistemas e informatização
• Os pactos e outros instrumentos de planejamento valorizaram o uso da informação e ampliaram o conhecimento crítico do assunto – precisamos pensar mais na orientação sobre as ações de correção de rumos quando não se atinge o mínimo esperado
• É preciso tornar claro que a melhoria da gestão e os objetivos maiores do SUS só serão alcançados com decisões que valorizem as informações de saúde e os mecanismos de avaliação – seria interessante a criação de estímulos para os gestores que realizem ações corretivas para os problemas detectados