Outubro / 2011

Monitoramento e Avaliação em

Saúde no Estado de São Paulo

José Dínio Vaz Mendes (CPS/SES/SP)

Conceituação Básica

• Avaliação é um julgamento de valores Sobre o que um plano, projeto ou programa efetivamente

realizou em relação aos seus objetivos e às atividades planejadas

Busca conhecer, analisar e qualificar o que foi feito em uma dada área, órgão ou serviço em relação a um resultado esperado ou a parâmetros estabelecidos

• Monitoramento é a observação e o registro regular das atividades ou resultados de um plano, projeto ou programa

• Ambos visam verificar se foram atingidos os objetivos e a adoção de medidas para superar os problemas detectados

AvaliaçãoMonitorament

o

Processo de Planejamento

InformaçõesModificações

Matéria Prima Ações

Resultados

Interferir sobre uma dada situação

IdeaisDiretrizesObjetivos

Não se trata de assunto novo - as normas regulamentadoras do SUS já previam a importância da

informação/ avaliação

• Lei Federal n.º 8.080/1990

Art. 7º (princípios e diretrizes do SUS): – Inciso VI - divulgação de informações quanto ao potencial dos

serviços de saúde e a sua utilização pelo usuário; – Inciso VII - utilização da epidemiologia para o estabelecimento

de prioridades, a alocação de recursos e a orientação programática;

No Art. 15º - define-se como atribuição comum da União, dos Estados e dos Municípios:– Inciso III - o acompanhamento, avaliação e divulgação do nível

de saúde da população e das condições ambientais– Inciso IV - a organização e coordenação do sistema de

informação de saúde

• Lei Federal n.º 8.080/90 (cont.) - como competência específica do nível estadual, estabelece-se no Art. 17º: Inciso II: o acompanhamento, controle e avaliação das redes

hierarquizadas do SUS Inciso XIV: o acompanhamento, a avaliação e divulgação dos

indicadores de morbidade e mortalidade no âmbito da unidade federada

• Na Norma Operacional Básica – NOB n.º 1/96, do MS - papel do gestor estadual na área de informação: a prática do acompanhamento, controle e avaliação no SUS,

superando os mecanismos tradicionais, centrados no faturamento de serviços produzidos, e valorizando os resultados advindos de programações com critérios epidemiológicos e desempenho com qualidade

informação informatizada e estruturação e operacionalização dos sistemas de processamento de dados, de informação epidemiológica, de produção de serviços e de insumos críticos

Portaria/GM nº 399/2006 Pacto pela Saúde

• Diretrizes - na área de informações:

Formular metodologias e modelos básicos dos instrumentos de planejamento, monitoramento e avaliação que traduzam as diretrizes do SUS, com capacidade de adaptação às particularidades de cada esfera administrativa;

Apoiar e participar da avaliação periódica relativa à situação de saúde da população e ao funcionamento do SUS, provendo os gestores de informações que permitam o seu aperfeiçoamento e ou redirecionamento;

Pacto pela Saúde (cont.)• Como papel estadual (informações)

Operar os Sistemas de Informação epidemiológica e sanitária de sua competência, bem como assegurar a divulgação de informações e análises (...);

Desenvolver, a partir da identificação das necessidades, um processo de planejamento, regulação, programação pactuada e integrada da atenção à saúde, monitoramento e avaliação;

Monitorar e avaliar o desempenho das redes regionais hierarquizadas estaduais;

Implementar avaliação das ações de saúde nos estabelecimentos, por meio de análise de dados e indicadores;

Realizar o acompanhamento e a avaliação da atenção básica no âmbito do território estadual

Desafios

• Porque algo necessário, importante e desejado há muitos anos se desenvolve com dificuldade no SUS?

• Desafios

Do planejamento em saúde

Dos recursos humanos

Da informação, dos sistemas de informação e da informatização do SUS

Desafio do planejamento no SUS

• Como monitorar e avaliar na ausência de programas e ações planejadas adequadamente ?

• Avaliação / Monitoramento - dependem de estabelecimento de objetivos, metas e da definição de um rol de informações para acompanhamento (indicadores) – se sabemos o que queremos fazer, sabemos o que acompanhar e quando intervir

• Planejamento “burocrático” – falta relação entre diagnóstico inicial, ações previstas e processos de avaliação

• Planejamento “sonhador” – exprime desejos dos técnicos/ interessados de cada área, mas não está integrado com orçamento, não possibilita o estabelecimento de quantificação (metas) e de indicadores para as ações

Desafio dos recursos humanos• Exige equipes suficientes e preparadas

“Cultura” de avaliação x “resistência” aos númerosPara trabalhar a informação, planejar, programar e

avaliar/monitorar os resultados

• Conhecimento ( é uma das matérias primas)Dos aspectos técnicos dos temas da áreaDa história das iniciativas já feitasDos sistemas de informação existentes, suas limitações e

fortalezasCapacitação, educação continuada, mecanismos de

discussão e troca de informações entre equipes – são iniciativas que aperfeiçoam o processo

Desafio dos recursos humanos

• Ambiente institucional (outro lado da moeda) – que estimule o uso do conhecimento e os processos de avaliação/monitoramentoGestores que queiram saber o que ocorreu, porque e

quando ocorreu – saibam ouvirDisposição de mudar as trajetórias estabelecidasCapacitações e cursos que estejam inseridos no processo

de trabalho e de planejamento

• É muito difícil que a informação produzida, isoladamente, resulte em mudanças significativas em uma instituição

Municípios do Estado de São Paulo segundo faixas populacionais - 2010

Faixa da população

Nº de Municípios

% Municípios

População Total % Pop

< 10 mil 279 43,3 1.373.955 3,3

10 - 49 mil 242 37,5 5.662.010 13,7

50 - 99 mil 49 7,6 3.402.226 8,2

> 100 mil 75 11,6 30.824.008 74,7

Total 645 100 41.262.199 100,0

• Como trabalhar tecnicamente em pequenos municípios? Descontinuidade técnica, baixa qualificação• Como trabalhar sem equipes regionais adequadas?

Desafio das informações• Para a consecução das diretrizes do SUS – é

fundamental a utilização de informações qualificadas para decisão dos gestores do sistemaConhecimento da situação de saúde – prioridadesSubsídio para a elaboração de planos, programas e

implementação de ações e serviços de saúde segundo as prioridades detectadas

Acompanhamento das medidas tomadas – avaliação, monitoramento – mudança de rumos

• Democratização da saúde – o Estado tem o dever de informar aos cidadãos sobre o que ocorre com sua saúde e o que é feito para sanar os problemas

Informação no SUS• A disponibilização de informações melhorou muito desde a

criação do SUSDATASUS – bancos de dados disponibilizados pela

Internet, tabnet, tabwin, IDB, cadernos de saúde e situação de saúde, entre outros

Tem sido feito um esforço para valorizar as informações existentes – pacto de atenção básica, de gestão, entre outros

• Contudo, a decisão na saúde Ainda guarda fortes características de uma ação casuística,

pouco baseada em informações relevantesAs tentativas institucionais de avaliação/monitoramento

têm pouca efetividade nas mudanças das ações/atividades do sistema

Iniciativas institucionais de avaliação

• Pacto de Indicadores da Atenção Básica avaliar o alcance das modificações introduzidas na

atenção básica (PACS, PSF, PAB) o resultado da ação dos serviços de atenção básica e os

possíveis problemas no seu desenvolvimento Portaria nº 3.925/1998 – pactuação de metas entre as

três esferas de governo e a definição de indicadores de acompanhamento da sua implementação

Conjunto de portarias para definir os indicadores ano a ano, 1999 (41 indicadores), 2000 (30), 2002 (25 principais e 22 complementares), 2003 e 2004 (20 e 14) até 2006 (30)

Aplicativo – Sispacto a partir de 2002

• A partir de 2007 – Pacto pela Saúde (40) indicadores

Avaliação/monitoramento a partir dos indicadores dos Pactos

• Utiliza os Sistemas Nacionais de Informação do SUS – resumindo as informações em um único sistema de monitoramento Tem as limitações próprias desses sistemas Não foi incorporado como instrumento de gestão – não é integrado

com o conjunto de ações de cada gestão

• Rol de indicadores Mudanças freqüentes dos indicadores Nem sempre com justificativas claras Difícil interpretação em municípios e regiões pequenas Fixação de metas arbitrárias – indicadores de resultado

• Evolução positiva nas regulamentações, conceituação, interpretação, uso e limitações dos indicadores incluídos Valorização da informação e compreensão dos indicadores

Qualidade e oportunidade das informações para avaliação/monitoramento

• As informações no SUS têm origens e finalidades diferentes – difíceis para integrar e utilizar

• Sistemas concebidos para uso estatístico-epidemiológico: SIM, SINASC, SINANAbrangência do sistema – cobertura boa no ESPPeriodicidade – demora no acesso às informações –

dificulta desenvolvimento de ações de correçãoQualidade do preenchimento – ex.: causa básica/óbitos mal

definidos, problema que pode ser importante dependendo da região

Interpretação – multidimensional – medem resultados de que?

• Concebidos para faturamento: SIH, SIA Abrangência do sistema – cobertura

– É problema significativo em São Paulo – lembrar que abrangem apenas os serviços ligados ao SUS – não inclui a produção da rede de saúde suplementar (44% no ESP)

– Prejudica bastante a avaliação da cobertura assistencial – equidade entre as regiões

– Ex.: cobertura de mamografias, produção por equipamento

Qualidade das informações– Tem informações de morbidade hospitalar– O SIA não contempla origem (residência) dos pacientes ou causa

do procedimento (morbidade ambulatorial) – não é fácil de trabalhar mesmo as informações de APACs

– O uso de informação exige conhecimento das “manhas” do sistema (tabela SUS, forma de faturamento)

– Evolução histórica - dificuldade pelas mudanças nas tabelas

Outros sistemas

• SIAB – tem informações de situação de saúde, desempenhoLimitado ao PSF/PACS – abrangência limitada no ESP

• Sistemas de cadastroCadastro de pacientes – cartão SUS – há pelo menos 10

anos em implantação CNES – dados imprecisos, divisão entre SUS e não SUS

não é adequada (equipamentos, leitos), RH com erros freqüentes (médicos, etc.)

• SIOPS – financiamento revisões bastante atrasadas e como avaliar investimentos

por tipo de atividade / ação / serviço / per capita?

Tecnologia (informatização)• Equipamentos físicos e aplicativos – como devem ser

De fácil compreensão, rápidos e inseridos na rotina, flexíveis e evitando-se a “multiplicação” dos programas

Padronizar procedimentos, integrar as informaçõesPermitir o acesso à informação onde e no tempo em que

for necessáriaApresentá-las de forma a facilitar sua compreensão e

acelerar os processos de tomada de decisão• Nas regiões e municípios – baixa conectividade e acesso

inadequadoAssistencial (ex.: marcação de consultas, resultados de

exames)Epidemiológico (conhecimento da situação de saúde)

Iniciativas recentes das informações na SES/SP

• Desde 2007, por ocasião do desenvolvimento

Pacto de Gestão, Termos de Compromisso de Gestão, PPI, Plano Estadual de Saúde (2008-2011) + Plano Operativo Anual - POA, Regionalização / Implantação dos CGR, entre outras coisas

• Foi avaliado que a SES não tinha nenhum instrumento sistemático para avaliar a situação de saúde no Estado

• Nível central deveria oferecer subsídios para avaliação e ação nas Regiões de Saúde

Foram feitas algumas propostas à época

• Criação de um grupo ou colegiado, com representação de diversas áreas e Coordenadorias para a avaliação da Situação de Saúde (ou outro nome que se proponha), sediado na CPS Resolução SS – 48, de 2009 – Grupo Técnico de Avaliação

e Informações de Saúde – GAIS• Publicação e disponibilização na Internet de documentos

técnicos com análise sobre assuntos de interesse (Portal/SES) 7 números do Boletim Eletrônico GAIS7 encartes da revista Boletim Epidemiológico Paulista –

BEPA, espaço este denominado “Saúde em Dados – Contextualização”

Caderno de “Indicadores de Saúde do Estado de São Paulo – 2010”

Publicação de Indicadores

• Definição de elenco mínimo de informações sistematizadas (como na metodologia RIPSA – IDB)

• Matriz de Indicadores de Saúde Site da SES/SP : http://www.saude.sp.gov.br/53 indicadores:

– Demográficos e socio-econômicos – 9; Financiamento – 1– Rede de serviços – 22– Condições de vida e saúde – 21

Em publicação (com desagregação até as 64 regiões de saúde)

Na internet – informações desagregadas até município e desde 2007

Monitoramento da AB no Estado de São Paulo

• Parceria SES-SP & Cealag• O objetivo principal – produzir informações sistemáticas da

AB dos municípios paulistas a partir das bases de dados disponíveis, com vistas ao seu monitoramento.

– Selecionar indicadores para monitoramento da Atenção Básica no Estado de São Paulo;

– Identificar grupos de municípios com características comuns entre si, no que se refere aos indicadores

– Descrição das Regiões de Saúde a partir dos indicadores de condições de saúde

– Desenvolver sistemática de tratamento dos indicadores de saúde que permita subsidiar a elaboração e implantação de sistema para monitoramento da Atenção Básica no Estado de São Paulo

Monitoramento da AB no Estado de São Paulo

• Selecionados 28 indicadores• Dimensões e indicadores

Estrutura do Sistema de Saúde (financiamento, estrutura física, recursos humanos e cobertura) - 4

Condições de Saúde da População (morbidade e mortalidade) - 7 Desempenho do Sistema (acesso, efetividade, continuidade e

adequação) – 9 Contexto (Demográficos e Socioeconômicos) – 8

• Municípios foram agrupados em 6 grupos Ex.: Grupo 1 – Municípios de pequeno porte populacional, com

indicadores de riqueza municipal desfavoráveis; oferta de serviços boa e financiamento abaixo da média; desempenho do sistema intermediário em termos de internações evitáveis e oferta de procedimentos básicos, e com baixo desempenho em vigilância epidemiológica e programa de imunização

SUB-DIMENSÃO

INDICADOR E PERÍODO DE REFERÊNCIA

demográfico 1.    População Total – estimativa para 2008

demográfico 2.    Densidade Demográfica, 2008 demográfico 3.    Taxa de Urbanização, censo 2000 demográfico 4.    Percentual de Idosos, 2008 demográfico 5.    IPRS 2006-logevidade sócio-econômico 6.    IPRS 2006-riqueza sócio-econômico 7.    IPRS 2006-escolaridade sócio-econômico 8.    PIB per Capita (em reais

correntes), 2007

Dimensão Contexto

SUB-DIMENSÃO INDICADOR E PERÍODO DE REFERÊNCIA

mortalidade 9.    Coeficiente de Mortalidade Infantil, 2008

mortalidade 10.  Coeficiente de Mortalidade Pós neonatal, 2008

mortalidade 11.  Coeficiente de Mortalidade por Neoplasia Colo do Útero (C53), 2008

mortalidade 12.  CMI por afecções originadas no período perinatal, 2008

mortalidade 13.  Mortalidade proporcional por D. Ap. Circulatório < 60 anos, 2008

morbidade 14.  Percentual de nascidos vivos com peso < de 2,5 KG, 2008

morbidade 15.  Incidência de sífilis congênita, 2008

Dimensão Situação de Saúde

SUB-DIMENSÃO INDICADOR E PERÍODO DE REFERÊNCIA

cobertura 16.  Percentual de pessoas cadastradas no PSF, 2008

recursos humanos

17.  Médico Atenção Básica / habitante, 2008

cobertura 18.  Percentual de Pop. coberta pela Saude Suplementar, 2008

financiamento 19.  Percentual de despesa própria com saúde (EC 29), 2008

Dimensão Estrutura

SUB-DIMENSÃO INDICADOR E PERÍODO DE REFERÊNCIA

continuidade 20.  Percentual de NV com 7 ou mais cons. pré-natal, 2008

adequação 21.  Razão de exames citopatológicos de colo uterino em mulheres 25 a 59 anos, 2008

acesso 22.  Cobertura vacinal tetravalente, 2008 acesso 23.  Num. Consultas Básicas por Habitante,

2008 efetividade 24.  Percentual de ICSAB no total de

internações, 2008 efetividade 25.  Proporção de casos novos de

tuberculose curados, 2008 efetividade 26.  Taxa de Internação por AVC de 30 a 59

anos, 2008 efetividade 27.  Taxa internação por DM 30 a 59 anos,

2008 Adequação 28.  Proporção de casos de DNC

encerrados oportunamente, 2008

Dimensão Desempenho

Monitoramento da AB no Estado de São Paulo• As informações estão disponíveis na Internet

Acesso pelo portal da SES (área de atenção básica) ou diretamente

http://www.cealag.com.br/Trabalhos/MonitoramentoAB/index.html

• Outra iniciativa: QualiAB Programa de Avaliação e Monitoramento dos Serviços de Atenção Básica do Estado de São Paulo Feito em parceria com a UNESP aplicação de um instrumento de avaliação da qualidade

de serviços auto aplicável (questionário QualiAB) para resposta on line pelas equipes das unidades básicas

Monitoramento da AB no Estado de São Paulo

• Objetivos do QualiAB: Estimular o desenvolvimento de uma cultura avaliativa

com o envolvimento dos gestores municipais e equipes locais de saúde

Contribuir com o fortalecimento das Políticas de Atenção Básica no Estado de São Paulo

Seus resultados são objeto de discussão dos CGR e da ação dos articuladores de atenção básica da SES

• Ambas as ferramentas serão atualizadas e aperfeiçoadas – servirão de base para orientar as políticas estaduais para a AB nos próximos anos

Perspectivas

• Novo Plano Estadual de Saúde – 2012 a 2015Objetivos e ações melhor estruturados – permitam metas

e indicadores de acompanhamento e avaliaçãoDiscussão regional – conhecimento das necessidades e

características de cada região

• Estabelecimento das Redes Regionais de Atenção à Saúde – RRAS no Estado de São PauloConhecimento da rede assistencialEstímulo à lógica da necessidade x oferta – exige

conhecimento do que se quer fazer e do que se é capaz de fazer

Definição das competências e responsabilidades de cada ponto das redes

Perspectivas

• Decreto nº7.508 /2011 – contrato organizativo da ação pública de saúde (...) indicadores e metas de saúde; critérios de avaliação dos

resultados e forma de monitoramento permanente Art. 41. Aos partícipes caberá monitorar e avaliar a execução do

Contrato Organizativo de Ação Pública de Saúde, em relação ao cumprimento das metas estabelecidas, ao seu desempenho e à aplicação dos recursos disponibilizados

• Programa de Avaliação para a Qualificação do Sistema Único de Saúde Consulta Pública nº 2, de 7 de abril de 2011 38 indicadores para avaliação do desempenho dos sistemas de saúde

Perspectivas• Aperfeiçoamento da Matriz

Discussões regionais para aprofundamento do conhecimento e uso do instrumento e dos indicadores

Revisão do rol de indicadores Desenvolvimento de “rotinas de alerta” a partir de

determinados indicadores – relativos aos valores ou às inconsistências observadas

Aperfeiçoamento dos sistemas de informação – a partir das inconsistências observadas

• Recursos Humanos Discussão entre as coordenadorias envolvidas (CRS, CPS

e CRH) para criar formas de capacitação e educação que atendam às necessidades atuais de informação/avaliação

Perspectivas

• Outras iniciativas Desenvolvimento de “Atlas da Saúde” – disponibilização

de coleção de mapas com apresentação regional de indicadores e taxas para facilitar a visualização espacial das diferenças regionais

Criação de ferramenta na Internet para criar espaço específico de divulgação e discussão sobre os indicadores, sistemas de informação e seus resultados com os DRS e as regionais

Consulta ao Ministério da Saúde para adaptação de ferramenta de situação de saúde para as necessidades do ESP ou criação de ferramenta semelhante – permitindo informações municipais, regionais, por DRS

Perspectivas

• Atividades sistemáticas para avaliar e melhorar a qualidade de informaçõesEm conjunto com os DRS, CRS e municípiosMelhor qualidade de informação é essencial – também

para avaliação de contratos

• Aperfeiçoamento da informatização da rede SUSCartão SUS – condição fundamental para o acesso e a

regulação– Saber quem e onde os cidadãos estão sendo atendidos

Integração de sistemas de informação – fundamental para as atividades de avaliação e monitoramento

Para o estabelecimento de mecanismos de avaliação e monitoramento ainda é importante destacar

• Linhas de cuidado – saber o que fazer Conjunto de saberes, tecnologias e recursos necessários ao

enfrentamento de determinado risco, agravo ou condições específicas do ciclo de vida, a serem ofertados de forma articulada pelo sistema de saúde, com base em protocolos clínicos

É possível estimar as necessidades assistenciais

• Análise de indicadores – saber o que esperar Comparação de regiões e municípios Agrupamento segundo características comparáveis – tamanho,

IPRS, etc Prever ações corretivas quando os indicadores estão fora da

média esperada para o grupo – no lugar de pactuar “metas” incalculáveis

Conclusões• O uso das informações no SUS avançou significativamente –

precisamos avançar na qualidade, integração de sistemas e informatização

• Os pactos e outros instrumentos de planejamento valorizaram o uso da informação e ampliaram o conhecimento crítico do assunto – precisamos pensar mais na orientação sobre as ações de correção de rumos quando não se atinge o mínimo esperado

• É preciso tornar claro que a melhoria da gestão e os objetivos maiores do SUS só serão alcançados com decisões que valorizem as informações de saúde e os mecanismos de avaliação – seria interessante a criação de estímulos para os gestores que realizem ações corretivas para os problemas detectados