View
107
Download
0
Category
Preview:
Citation preview
Ferramenta de Avaliação de Rotina da Qualidade de Dados
(ARQD)
MEASURE Evaluation
Ferramenta de Auditoria de Qualidade de Dados criada pelo Projeto do Fundo Global, MEASURE Evaluation, outros parceiros
Objetivo de avaliar a qualidade de dados para financiamentos baseados em desempenho
Utiliza a metodologia GAVI DQA(AQD) para avaliar a exatidão de dados de cobertura de imunização
Técnica de Amostragem por Conglomerados
Estimativa de qualidade de dados a nível nacional
Dois componentes: 1) Verificação de dados
2) Avaliação do sistema
Programas/projetos expressaram a necessidade de uma ferramenta para utilizar como auto-avaliação, capacitação e preparação para auditorias externas
Evolução da ferramenta ARQD
AVALIAÇÃO DA QUALIDADE DE DADOS
FERRAMENTA DE AUDITORIA DA
QUALIDADE DE DADOS (AQD)
FERRAMENTA DE AVALIAÇÃO DE ROTINA
DA QUALIDADE DE DADOS (ARQD)
Versão Auditoria…
Avaliação pela agência financiadora
Método padrão para implementação
Realizada pela equipa de auditoria externa
Limitada participação do Programa/Projeto nas recomendações feitas
Versão Auto-Avaliação...
Simplificada, com base na versão de auditoria
Utilização flexível pelo programa, equipa de IE (Informação Estratégica) para monitorar e supervisionar ou em preparação para uma auditoria externa
Auto-avaliação, pelo programa, do seu próprio sistema de M&A
O programa elabora e implementa o seu próprio plano de ação
A equipa de IE pode monitorar a qualidade dos dados entre os parceiros num país
Utilização das versões de Auditoria e Auto-Avaliação/Rotina
Objectivos da ARQD
OBJETIVOS:
• VERIFICAR rapidamente 1) a qualidade dos dados divulgados em referência aos indicadores chave nos centros selecionados; e 2) a capacidade dos sistemas de gestão de dados para recolher, gerir e divulgar dados de qualidade.
• IMPLEMENTAR medidas através de planos de ação adequados para reforçar o sistema de gestão e divulgação de dados e melhorar a qualidade dos dados.
• MONITORAR o melhoramento da capacidade e do desempenho do sistema de gestão e divulgação de dados, para produzir dados de qualidade.
Modelo Conceitual de ARQD
Dados de Qualidade
Unidade de M&A
Níveis Intermediários de Agregação(Ex: Distritos, Regiões)
Pontos de Serviço
Ge
stã
o d
e D
ad
os
e
Sis
tem
a d
e R
ela
tório
s
NÍ V
EIS
DE
RE
LA
TÓ
RIO
S
Dimensões da Qualidade (Anexo 1, Quadro 1)
Exactidão, Totalidade, Fiabilidade, Pontualidade, Confidencialidade, Precisão, Integridade
Capacidades, Funções e Responsabilidades de M&A
Formação
Requisitos de Divulgação dos Dados
Definições de Indicadores
Fomulários/Ferramentas para Recolha e Divulgação dos Dados
Processos de Gestão de Dados
Mecanismos e controlos da Qualidade dos Dados
Ligações com o sistema nacional de relatórios
I
II
III
IV
V
VI
VII
VIII
Componentes Funcionais Necessários de um Sistema de Gestão de Dados para Assegurar a Qualidade dos Dados
(Anexo 1, Quadro 2)
Dados de Qualidade
Unidade de M&A
Níveis Intermediários de Agregação(Ex: Distritos, Regiões)
Pontos de Serviço
Ge
stã
o d
e D
ad
os
e
Sis
tem
a d
e R
ela
tório
s
NÍ V
EIS
DE
RE
LA
TÓ
RIO
S
Dimensões da Qualidade (Anexo 1, Quadro 1)
Exatidão, Totalidade, Fiabilidade, Pontualidade, Confidencialidade, Precisão, Integridade
Capacidades, Funções e Responsabilidades de M&A
Formação
Requisitos de Divulgação dos Dados
Definições de Indicadores
Fomulários/Ferramentas para Recolha e Divulgação dos Dados
Processos de Gestão de Dados
Mecanismos e controlos da Qualidade dos Dados
Ligações com o sistema nacional de relatórios
I
II
III
IV
V
VI
VII
VIII
Componentes Funcionais Necessários de um Sistema de Gestão de Dados para Assegurar a Qualidade dos Dados
(Anexo 1, Quadro 2)
A ARQD foi concebida para ter flexibilidade em sua utilização e pode desempenhar várias funções:
Verificações de rotina da qualidade de dados como parte de uma supervisão contínua de apoio
Avaliações iniciais e de seguimento dos sistemas de gestão e divulgação de dados – medição das melhorias de desempenho no decorrer do tempo:
Fortalecimento da capacidade técnica dos profissionais do programa em gestão e divulgação de dados:
Preparação para uma auditoria formal da qualidade de dados·
Avaliações externas realizadas por parceiros, outros intervenientes
Funções da ARQD
Normalmente, a ARQD pode ser implementada em seis etapas:
Identificar o objetivo da ARQD
Selecionar os níveis e centros a serem incluídos
Identificar indicadores, fontes de dados e período dos relatórios.
Realizar visitas aos pontos de prestação de serviço / centros.
Examinar os resultados e as conclusões.
Elaborar um plano de reforço do sistema, incluindo medidas de seguimento.
Etapas de implementação
PREPARAÇÃO
FASE 1
IMPLEMENTAÇÃO
FASE 2
PLANO DE AÇÃO
FASE 3
SEGUIMENTO
FASE 4
2. Definir os indicadores, as fontes de dados e o período
5. Verificar os dados
4. Avaliar o sistema de gestão de dados
1. Definir a abrangência da AQD
3. Identificar e notificar aos pontos de prestação de serviço
6. Resumir as conclusões e elaborar o plano de ação
7. Implementar as atividades e realizar o seguimento
A implementação é realizada na Unidade de M&A, nos pontos de prestação de serviços e nos níveis intermediários de agregação, dependendo da abrangência da AQD
Cronologia e etapas da ARQD
DOENÇA INDICADORES PERÍODO DO RELATÓRIO
VIH/SIDA1.Número de pacientes a
tomar ARV Período de 3 meses
[1-Nov-05 / 31-Jan-06]Valores
nacionais
Tuberculose
2.O número de casos de TB com escarro positivo registados em DOTS, os quais tenham sido tratados com êxito
Período de 3 meses[1-Out-04 31-Dez-04]
Valores nacionais
Malária
3.Número de mosquiteiros tratados com insecticida (MTI) distribuídos (ou seja, o número de cupões resgatados)
Período de 6 meses
[1-Nov-2005 / 30-Abr-2006]
Valores divulgados
para o Fundo Global
Exemplo: Seleção de indicadores
Verificação de dados
Análise de documentação
Recontagem dos resultados – rastrear e verificar
Verificações cruzadas – comparar com fontes de dados alternativos
Desempenho na divulgação de dados
Pontualidade, totalidade, disponibilidade (nível intermediário e superior)
Avaliação do sistema
Há elementos de estrutura implementados para assegurar a qualidade dos dados divulgados?
Metodologia da ARQD
■ OBJETIVO: Avaliar em escala limitada se os Pontos de Prestação de Serviços e os Centros Intermediários de Agregação estão a recolher e divulgar dados de forma precisa e pontual.
■ A etapa de verificação de dados ocorre em dois estágios:
- Verificações aprofundadas nos Pontos de Prestação de Serviços; e
- Verificações de seguimento nos Níveis Intermediários de Agregação (Distritos, Regiões) e na Unidade de M&A.
Rastrear e verificar os dados referentes
aos indicadores
Unidade de Gestão de
M&A
Pontos de Prestação de
Serviços / Organizações
Níveis Intermediários de Agregação
(ex., Distrito, Região)
Rastrear e verificar os resultados divulgados
Metodologia da ARQD Componente de verificação de dados
Verificação de dados da ARQD
Centro de Prestação de Serviços 5
Relatório mensal
No. ARV 50
Centro de Prestação de Serviços 6
Relatório mensal
No. ARV 200
Documento-Fonte 1
Documento-Fonte 1
Distrito 1
Relatório mensal
CPS 1 45
CPS 2 20
TOTAL 65
Distrito 4
Relatório mensal
CPS 5 50
CPS 6 200
TOTAL 250
Distrito 3
Relatório mensal
CPS 4 75
TOTAL 75
Unidade de M&A/Nacional
Relatório mensal
Distrito 1 65
Distrito 3 75
TOTAL 435
Distrito 4 250
ILUSTRAÇÃO
Centro de Prestação de Serviços 3
Relatório mensal
No. ARV 45
Documento-Fonte 1
Centro de Prestação de Serviços 4
Relatório mensal
No. ARV 75
Documento-Fonte 1
Centro de Prestação de Serviços 1
Relatório mensal
No. ARV 45
Documento-Fonte 1
Centro de Prestação de Serviços 2
Relatório mensal
No. ARV 20
Documento-Fonte 1
Distrito 2
Relatório mensal
CPS 3 45
TOTAL 45
Distrito 2 45
PONTO DE PRESTAÇÃO DE SERVIÇOS - TIPOS DE VERIFICAÇÃO DE DADOS
Verificações Descrição -
Verificação no. 1:
Análise da
documentação
Examinar se os documentos-fonte de todos os indicadores estão disponíveis e completos para o período do relatório selecionado.
Em todos os casos
Verificação no. 2:
Verificação de
dados
Rastrear e verificar os números divulgados: (1) Recontar os valores divulgados com base nos documentos-fonte disponíveis; (2) Comparar os valores verificados aos valores divulgados pelo centro; (3) Identificar os motivos de eventuais diferenças.
Em todos os casos
Verificação no. 3:
Verificações
cruzadas
Realizar “verificações cruzadas” entre os totais verificados do relatório e outras fontes de dados (ex. registos de stock, relatórios de laboratório, etc.).
Se for viável
Pontos de Prestação de Serviços – Verificação de Dados
Verificação de Dados - ARQD
Avaliação do sistema de gestão e
divulgação de dados
Unidade de Gestão de
M&A
Pontos de Prestação de
Serviços / Organizações
Níveis Intermediários de Agregação
(ex., Distrito, Região)
Avaliar o sistema de gestão e divulgação de dados
■ OBJETIVO: Identificar potenciais riscos à qualidade dos dados criados pelosistema de gestão e divulgação de dados em:
- Unidade de Gestão de M&A;- Pontos de Prestação de Serviços;- Qualquer Nível Intermediário de Agregação (Distrito ou Região).
■ A ARQD avalia tanto (1) a concepção; como (2) a implementação do sistema de gestão e divulgação de dados.
■ A avaliação abrange 8 áreas funcionais (RH, Formação, Processos de Gestão de Dados, etc.)
Metodologia de ARQD Componente de Avaliação do Sistema
QUESTÕES DE AVALIAÇÃO DO SISTEMA POR ÁREA FUNCIONAL
Áreas funcionais Exemplos de Questões
I Capacidades, funções e responsabilidades de M&A
1Os profissionais de M&A e gestão de dados estão identificados e com suas responsabilidades claramente atribuídas?
II Formação2
A maioria dos principais profissionais de M&A e gestão de dados recebeu formação necessária?
III Requisitos para divulgação de dados
3O Programa/Projeto documentou claramente (por escrito) o que é divulgado e a quem, para além de como e quando a divulgação é necessária?
IV Definições de indicadores 4
Há definições de indicadores operacionais que atendam aos padrões pertinentes e são seguidas sistematicamente por todos os pontos de prestação de serviços?
V Formulários / Ferramentas para recolha e divulgação de dados
5Há formulários padronizados de recolha e divulgação de dados que sejam utilizados sistematicamente?
6Os documentos-fonte são mantidos e disponibilizados em conformidade com uma política escrita?
Áreas Funcionais de um Sistema de M&A que afetam a qualidade dos dados
VI Processos de gestão de dados
7Há documentação clara das etapas de recolha, agregação e manipulação dos dados?
VII Mecanismos e controlos de qualidade de dados
8Os problemas de qualidade de dados estão identificados e há mecanismos para resolvê-los?
9Há procedimentos claramente definidos e seguidos para identificar e conciliar discrepâncias nos relatórios?
10Há procedimentos claramente definidos e seguidos para a verificação periódica dos dados - fonte?
VIII Ligações com o Sistema Nacional de Divulgação de Dados
11O sistema de recolha e divulgação de dados do Programa/Projeto está ligado ao Sistema Nacional de Divulgação de Dados?
Áreas funcionais de um Sistema de M&A que afetam a qualidade dos dados
Avaliação do Sistema de ARQD
1Há técnicos responsáveis especificamente por examinar os valores agregados antes de encaminhá-los ao próximo nível (p.ex., aos distritos, aos gabinetes regionais, à Unidade Central de M&A).
Sim - Completamente
2A responsabilidade pelo registo dos serviços prestados em documentos-fonte está claramente atribuída a um técnico / profissional pertinente.
Parcialmente
3Todos os técnicos / profissionais pertinentes receberam formação sobre os processos e as ferramentas de gestão de dados.
Não - Nada
4A Unidade de M&A deu orientação por escrito aos Pontos de Prestação de Serviços sobre os requisitos e os prazos para divulgação de dados.
Parcialmente
5A Unidade de M&A deu instruções claras sobre como preencher os formulários/ferramentas de recolha e divulgação de dados.
Não - Nada
6Os documentos-fonte e os formulários/ferramentas de divulgação de dados especificados pela Unidade de M&A são utilizados com uniformidade pelo Ponto de Prestação de Serviços.
Sim - Completamente
7Todos os documentos-fonte e formulários de divulgação de dados pertinentes à medição do(s) indicador(es) estão disponíveis para fins de auditoria (incluindo os relatórios impressos e datados, no caso de um sistema informatizado).
Parcialmente
8
Os dados recolhidos no documento-fonte têm exactidão suficiente para medir o(s) indicador(es) (ou seja, são recolhidos dados relevantes, com distribuição por sexo, faixa etária, etc., quando o indicador especifica a desagregação de acordo com estas características).
Sim - Completamente
Parte 2. Avaliação do Sistema
I - Capacidades, Funções e Responsabilidades de M&A
II - Formação
III - Requisitos para divulgação de dados
IV - Formulários e ferramentas de recolha e divulgação de dados
Favor Comentar
Favor Comentar
Favor Comentar
Favor Comentar
Favor Comentar
1- Solidez do Sistema de M&A, avaliação baseada numa revisão do sistema de gestão e divulgação de dados do programa/projeto, incluindo respostas para as questões resumidas gerais sobre a qualidade da concepção e implementação do sistema;
2- Fatores de verificação gerados no exercício de recontagem de rastreamento e verificação realizado com os registos primários e/ou relatórios agregados (ou seja, o razão entre o valor recontado do indicador e o valor relatado);
3- Relatórios disponíveis, pontuais e completos percentagens calculadas no Nível Intermediário de Agregação e na Unidade de M&A;
4- Plano de ação para reforçar o sistema em cada nível avaliado.
Resultados da ARQD
Estatísticas resumidas da ARQD – Painel do Nível Específico
Parte 4: PAINEL: Unidade de M&A
Avaliação da Gestão de Dados - Unidade de M&A
2.0
1.0
2.31.0
1.0
3.0
2.3
0
1
2
3
Capacidades, Funções eResponsabilidades de M&A
Formação
Definição dos indicadores
Exigências de divulgação de dadosFormulários e ferramentas derecolha e divulgação de dados
Gestão de dados e controlos dequalidade
Ligações com o Sistema Nacional
Verificação de Dados e Relatórios - Unidade de M&A
80%
100%
90% 90%
0%
20%
40%
60%
80%
100%
120%
Factor deverificação
% disponíveis % pontuais % completos
Estatísticas Resumidas de ARQD – Painel Global
DIMENSÕES DA QUALIDADE DE DADOS – Distribuição das respostas à lista de verificação por dimensão(Nota: O número de respostas está localizado em cada barra colorida)
13
12
7
6
10
3
3
17
13
8
7
7
4
4
21
21
14
15
15
3
10
1
1
1
1
0
0
1
0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 70.00% 80.00% 90.00% 100.00%
Exactidão
Fiabilidade
Pontualidade
Totalidade
Precisão
Confidencialidade
Integridade
Sim -Completamente
Parcialmente
Não - Nada
N/A
Avaliação da Gestão de Dados - Consolidação Global
0
1
2
3
Capacidades, Funções eResponsabilidades de M&A
Formação
Definição de Indicadores
Requisitos para Divulgação deDados
Formulários e Ferramentas derecolha e divulgação de dados
Processos de gestão de dados econtrolo de qualidade
Ligações com o Sistema Nacionalde Divulgação de Dados
Verificação de Dados e Relatórios - Consolidação Global
95%90% 90%
42%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% Disponíveis % Pontuais % Completos Factor deVerificação
Resultado da ARQD - Plano de Ação para Fortalecer o Sistema
País:
Programa/Projecto
Data da ARQD:
Data do seguimento proposto
Acrescente linhas conforme for necessário
Plano de Acção Final da ARQD
Necessidades de assistência técnica
Data do seguimento e comentários
PrazoDescrição do ponto de acção Responsável
NÍVEL DE DIVULGAÇÃO
DE DADOSCONCLUSÕES RECOMENDAÇÕES
Unidade de M&A Nacional
Não há nenhuma documentação que especifique as funções e responsabilidades de gestão de dados, cronogramas de divulgação de dados, formulários padronizados, política de armazenamento…
Desenvolver um manual de gestão de dados a ser distribuído para todos os níveis de divulgação
Incapacidade de verificar os valores divulgados pela Unidade de M&A em virtude da excessiva falta de relatórios (dos Pontos de Prestação de Serviços) (67%)
Arquivar sistematicamente todos os relatórios dos Pontos de Prestação de Serviços
Elaborar normas sobre como lidar com relatórios em falta ou incompletos
A maioria dos relatórios recebidos pela Unidade de M&A não são assinados por nenhum funcionário ou gestor do Ponto de Prestação de Serviços
Enfatizar a necessidade de realizar uma revisão documentada dos dados apresentados – por exemplo, não aceitando relatórios não revistos
ILUSTRAÇÃO
Ilustração – Conclusões sobre os sistemas na Unidade de M&A (VIH/SIDA)
NÍVEL DE DIVULGAÇÃO
DE DADOSCONCLUSÕES RECOMENDAÇÕES
Nível Intermediário
de Agregação
Impossibilidade de acessar aos documentos-fonte (ou seja, relatórios dos Pontos de Prestação de Serviços) referentes a um determinado período
Melhorar o processo de armazenamento de documentos-fonte, identificando claramente o documento-fonte armazenado por data
Pontos de prestação de
serviços’’
Confusão acerca da definição do que venha a ser um paciente “perdido para seguimento” (3 meses para o Hospital Temeke; 2 meses para o Hospital Iringa).
A Unidade de M&A deve comunicar claramente, para todos os pontos de prestação de serviços, a definição de um paciente “perdido para seguimento”
Os pontos de prestação de serviços não removem sistematicamente pacientes “perdidos para seguimento” das contagens de pessoas que estão a receber ART
Elaborar um mecanismo para assegurar que os pacientes “perdidos para seguimento” sejam removidos sistematicamente das contagens de pessoas que estão a receber ART
Nos casos de "centros satélites", o sistema de divulgação de dados e os documentos-fonte nem sempre identificam a localização de um paciente
Elaborar um sistema de codificação que identifique claramente o local de tratamento de um paciente, para que se possa fazer a verificação dos dados
Principais fatores de êxito para a qualidade dos dados
1. Sistemas de informação eficientes
2. Definição dos indicadores clara e utilizada com uniformidade em todos os níveis
3. Descrição das funções e responsabilidades em todos os níveis
4. Cronogramas específicos de divulgação de dados
5. Formulários / ferramentas de recolha e divulgação de dados padronizados / compatíveis, com instruções claras
6. Procedimentos de revisão de dados documentados, a serem executados em todos os níveis
7. Procedimentos para resolver problemas de qualidade de dados (dados em falta, contagem repetida, pacientes perdidos para seguimento…)
8. Política de armazenamento e práticas de preenchimento que permitam a recuperação de documentos para fins de auditoria
PREPARAÇÃO:
Finalidade da documentação solicitada
Para ajudar a selecionar os pontos de prestação de serviço a serem visitados.
Lista de pontos de prestação de serviços
com os resultados mais recentes
1
Para possibilitar o entendimento da concepção do Sistema de Gestão e Divulgação de Dados.
Para familiarizar a Equipa de Avaliação com os formulários e relatórios a serem examinados.
Para compreender como os dados são registados e divulgados pelos Pontos de Prestação de Serviços para a Unidade de M&A.
Descrição do sistema de divulgação de dados
2
Modelos de formulários
3
Outros documentos
4
Algumas Experiências com a ARQD
Nigéria
Quénia
Tanzânia
Costa do Marfim
Guiana
Haiti
Moçambique
Exercício
Em pares analisem os dados dos relatórios e utilizem a ferramenta ARQD – Parte 1 Verificação de Dados para o nível intermediário e Unidade de M&A.Calcule os índices quanto a:
• Fator de Verificação• Disponibilidade• Pontualidade e• Relatórios Completos
A MEASURE Evaluation é financiada pela Agência de
Desenvolvimento Internacional dos EUA (USAID) por meio do
Acordo de Cooperação GHA-A-00-08-00003-00 e é implementada
pelo Centro Populacional da Carolina, Universidade da Carolina do
Norte, em parceria com Futures Group, John Snow, Inc., Macro
International Inc., Management Sciences for Health, e Tulane
University.
Visite-nos on-line em http://www.cpc.unc.edu/measure.
Recommended