Avaliação do Projeto Inverno Gaúcho

AVALIAÇÃO DO PROJETO INVERNO GAÚCHO

INTEGRANTES:

SES FEE SEFAZ Consultora externa

2

Introdução

Infecções Respiratórias Agudas (IRAs): 4% dos óbitos entre as crianças com menos 1 ano, no RS.

Pneumonia: 8% da demanda por doenças respiratórias dos ambulatórios de pediatria. 50% dos óbitos por IRA. Quarta causa de morte em menores de 1 ano.

2005: implantação do Projeto Inverno Gaúcho (PROIG):

atendimento de pacientes em razão de IRA

foco na atenção à criança menor de 5 anos.

3

PROIG

Composto por um conjunto de ações :

a) Abertura do terceiro turno de atendimento em postos de saúde (até as 22h);

b) Fornecimento de kits de medicamentos;

c) Capacitação de técnicos das Coordenadorias Regionais de Saúde que são responsáveis pela multiplicação das informações das Normas Técnicas e Operacionais (NTO) para rede básica municipal;

d) Ações de educação com foco nas doenças de inverno através dos meios de comunicação.

O principal indicador para avaliação do impacto do PROIG: Taxa de Internação por Infecção Respiratória Aguda (IRA) em menores de 5 anos.

4

Evolução do número de municípios aderentes ao PROIG

Tabela 1 – Número de municípios aderentes ao PROIG e participação percentual em relação ao total dos municípios do RS – 2005-2008

AnoNúmero de municípios Percentual em relação ao

aderentes Total de Municípios do RS2005 346 69,82006 314 63,32007 274 55,22008 292 58,9

Fonte: SES-RS

5

Justificativa para a realização da avaliação

A avaliação das políticas governamentais: estabelecimento de parâmetros adequados para a distribuição de recursos.

Corrigir, aperfeiçoar ou qualificar o projeto implementado, do ponto de vista de sua eficiência.

2008: avaliação do PROIG pela SES – Núcleo de Monitoramento e Avaliação/DAS

Originalidade da avaliação de 2009: diferença observada entre municípios que aderiram ao PROIG e aqueles que não aderiram, antes e depois da implantação do mesmo.

6

Questões norteadoras

1 - Qual o impacto do Projeto Inverno Gaúcho sobre o número de internações por IRA em crianças menores de cinco anos em diferentes municípios do Rio Grande do Sul?

2 - Existem diferenças na Taxa de Internação entre municípios, com características similares, que fazem parte do referido projeto e aqueles que não fazem?

7

Objetivos

1 - Avaliar o impacto do Projeto Inverno Gaúcho na redução na Taxa de Internação por Infecção Respiratória Aguda (IRA) em menores de cinco anos no RS nos meses de atuação do projeto.

2 - Identificar, nos municípios que aderiram ao projeto, a taxa de Internação por Infecção Respiratória Aguda (IRA) em menores de cinco anos antes e após a adesão ao projeto.

3 - Comparar a taxa de Internação por Infecção Respiratória Aguda (IRA) em menores de cinco anos nos municípios alvo com outros municípios similares, mas que não aderiram ao projeto.

8

Metodologia

Desenho da investigação de forma esquemática abaixo:

2004 X 2005 Grupo do PROIG (tratamento)

------------------------------

2004 2005 Grupo sem PROIG (controle)

9

Variáveis do Estudo

Taxa da internação por IRA = razão entre número de internações por IRA de crianças com 5 anos ou menos durante os meses do PROIG e a população total de crianças naquela faixa etária no mesmo ano multiplicado por mil e dividido por 3 em função do PROIG ocorrer somente durante 3 meses no ano.

10

Variáveis independentes

X= Aderiu ao PROIG=1 e Não aderiu =0:

Nº de leitos pediátricos e UTI pediátrica (2003 até 2008);

Consultas pré-natal (2003 até 2008);

Cobertura vacinal até 1 ano de idade (2003 até 2008);

Número de crianças com baixo peso ao nascer;

Presença de Programa de Saúde da Família;

Presença do Programa Viva Criança;

11

Variáveis independentes

Presença do Primeira Infância Melhor;

Nº de leitos;

Recursos financeiros transferidos aos municípios;

Taxa de fecundidade;

População total ;

Taxa de urbanização;

IDESE

12

Fonte dos dados

DATASUS

FEEDADOS

IBGE

Núcleo de Informação em Saúde – NIS/SES-RS

13

Estratégia Analítica

Estatísticas descritivas: diferenças de médias entre participantes e não do PROIG.

Regressões multivariadas onde a dependente foi a taxa de internação por IRA no momento posterior ao PROIG menos a mesma taxa no momento anterior ao PROIG.

Estratégia da diferença da diferença.

14

A lógica da técnica da diferença da diferença pode ser vista no esquema abaixo:

PROIG (=1) Não PROIG (=0)

(Int IRA2005-Int IRA2004) - (Int IRA2005-Int IRA 2004)

Em função do fato dos municípios que aderem mudarem de ano para ano, a partir de 2006, para compararmos cada ano com cada ano tivemos de inverter nosso banco de dados e trabalhar com a técnica da diferença da diferença usando uma variável interativa.


Modelo com variável interativa Taxa geral de IRA= a + aderiu (=1) + ano

após o PROIG (=1) + aderiu * ano após

O impacto do PROIG seria o valor do coeficiente de regressão para a variável interativa.

Nossos modelos de regressão não foram expressivos, por isso utilizamos a estratégia do pareamento.

16

Após uso de análise multivariada usamos técnica do pareamento.

A técnica de pareamento: identificar que as unidades não tratadas (municípios que não aderiram ao PROIG) sejam similares às unidades tratadas (municípios que aderiram ao PROIG).

Através de uma regressão logística, estimando a chance de participar, cada município (entre participantes e não do projeto) tem um escore. Escores similares ficam na amostra.


17

Resultados

Tabela 2 – Número de internações por IRA nos municípios do RS - 2004-2008

Ano Número de internaçõespor ano

Número de internações somentenos meses do PROIG

2008 25.831 9.843

2007 29.683 10.985

2006 31.281 11.021

2005 31.298 11.804

2004 38.286 13.806Fonte de dados brutos: SIH-DATASUS-MS

18

Tabela 3 – Taxas médias mensais e taxas totais de internações por IRA durante os meses do PROIG nos municípios do RS - 2004-2008

2004 2005 2006 2007 2008

Média 5,5029 4,6175 4,2194 5,1792 4,2937

Taxa total RS 15,46 12,92 11,93 14,09 13,38

Fonte de dados brutos: SIH-DATASUS-MS

Resultados

19

Tabela 4 – Diferença de médias da diferença 2005-2004 entre participantes e não participantes do PROIG

Resultados

Aderiu em 2005 N Média da

diferençaDesvio padrão

Erro padrão

txin0504 1 Sim 346 -0,8474 3,57921 0,19242

0 Não 150 -0,9732 4,84119 0,39528P=.64

20


Resultados



Erro padrão

txin0604 1 Sim 314 -1,4689 4,06747 0,22954

0 Não 182 -0,9637 4,50006 0,33357P=.20

21


Resultados



Erro padrão

txin0704 1 Sim 274 -0,2334 4,32677 0,26139

0 Não 222 -0,4353 5,17813 0,34753


Resultados



Erro padrão

txin0804 1 Sim 292 -1,3711 4,66345 0,27291

0 Não 204 -0,9776 4,89570 0,34277P=.36

23

Tabela 8 – Diferença de médias da diferença 2008-2004 entre Participantes durante todos os anos do PROIG e aqueles que nunca participaram

Resultados

Constância na adesão N Média da


Erro padrão

txin0804 1 sempre esteve no programa 214 -1,0744 3,90961 0,26726

0 nunca esteve 107 -1,1728 5,02862 0,48613P=.84

24

Análise de Impacto

Nossos modelos de impacto (análises de regressão multivariadas), para cada ano do PROIG, foram muito pouco explicativos.

Especificamente quanto aos resultados do primeiro ano do PROIG (2005) não observamos impacto do PROIG.

E ainda que participantes do PROIG em 2005 tiveram aumento, ainda que ínfimo, das internações de 2004 para 2005 em comparação com não participantes quando consideramos as variáveis de controle.

25

Análise de Impacto

Impacto do PROIG no ano de 2008 comparado com o ano base 2004:

Em média ele é muito pequeno, no sentido de que municípios participantes em 2008 tiveram maior decréscimo nas taxas entre 2008 e 2004 que os não participantes.

26

Análise de Impacto Análises multivariadas comparando os anos do PROIG

entre si: a variável que mede o impacto do programa não se manifestou significativa em nenhuma das comparações.

Outro modelo: variável independente principal o grau de participação (e não mais se participou ou não do PROIG) considerando apenas aqueles que participaram em todos os anos do PROIG versus aqueles que nunca participaram.

Tal análise também não apontou tendências expressivas de impacto.

27

Análise com pareamento Tabela 9 – Taxas de internação 2005 para participantes e não,

antes e após pareamento n=435

Variável Amostra No PROIG Fora do PROIG Diferença erro padrão T-stat

tax_in05 Não pareado 4,62048756 4,61059056 0,009897008 0,421310699 0,02

Pareado 4,68228933 4,20513031 0,477159025 0,736121459 0,65

28

Análise com pareamento Taxas de internação em 2006 (n=485):

Municípios integrantes do PROIG:

Antes do pareamento= 4,13

Após pareamento= 4,18

Municípios não integrantes do PROIG:



29

Análise com pareamento Taxas de internação em 2007(n=486):

Municípios integrantes do PROIG:



Municípios não integrantes do PROIG:



30

Análise com pareamento Tabela 10 – Taxas de internação 2008 para participantes e não,

antes e após pareamento ( n=487)

Variável Amostra No PROIG Fora do PROIG Diferença erro padrão T-stat

tax_in08 Não Pareado 4,31584614 4,26198882 0,053857318 0,336538236 0,16

Pareado 4,3529952 4,71974281 -0,366747611 0,546623595 -0,67

31

Considerações Finais: Sugestões

Incluir de novas variáveis independentes, tais como clima.

Conhecer condições de adesão dos municípios ao projeto: avaliação de processo.

Reforçar supervisão.

Incluir outros indicadores na avaliação: IRA em população idosa, incluir mês de setembro.

Aprimoramento do banco de dados.

32

Considerações Finais: Limitações do Estudo

Projeto não foi desenhado para ser avaliado.

Falta de dados atualizados em termos de características sócio-demográficas.

Limitações da variável taxa de internação: nem sempre internações seguem critérios inteiramente técnicos.

33

Considerações Finais: Contribuições

Presença de técnicos na área de saúde, finanças, economia, sociologia, estatística e administração, bem como de uma consultora externa com formação na área de métodos quantitativos e avaliação de políticas públicas. Interdisciplinaridade.

Caráter interinstitucional do trabalho, pois ele foi construído com a colaboração de três órgãos públicos: Secretaria da Saúde, Secretaria da Fazenda e FEE.

34

Considerações Finais: Contribuições

Fato de termos trabalhado com dois grupos (aqueles que fizeram parte e que não fizeram parte do projeto) e de termos realizado o procedimento estatístico do pareamento dos grupos, o qual, mesmo não sendo perfeito garantiu maior rigor nas comparações das taxas de internação por IRA nos diferentes anos do PROIG.

35

Considerações Finais: O Futuro

Disseminação dentro do setor público: monitoramento e avaliação das políticas públicas se torne um processo essencial para a administração pública.

Maior divulgação desses conhecimentos técnicos: formato de seminários, pequenos cursos, palestras e publicações aqui no Rio Grande do Sul ou mesmo em outras partes do Brasil.

Gestores se organizem em termos de uma rede de discussão sobre avaliação, não somente em nível estadual, mas também em conjunto com técnicos e pesquisadores de outras partes do Brasil e do mundo.

Economy & Finance

Avaliação do Projeto Inverno Gaúcho