2013_EnANPAD_ADI221

8/11/2019 2013_EnANPAD_ADI221

1/16

1

UM MODELO PARA AVALIAO DE SISTEMAS DE INFORMAO DO SUS DEABRANGNCIA NACIONAL: O PROCESSO DE SELEO E ESTRUTURAODE INDICADORES

Autoria: Rinaldo Macedo de Morais, Andr Lucirton Costa

Resumo: Os processos de gesto do SUS so apoiados por um conjunto de sistemas deinformao de abrangncia nacional, com funcionalidades para as reas epidemiolgicas,ambulatoriais, hospitalares e administrativas. Estudos afirmam haver pontos fracos nessasaplicaes, como a falta de integrao, fragmentao e redundncia de dados, baixa coberturae pouco suporte para tomada de decises. Este artigo prope um modelo para avaliao desistemas de informao em sade que possa ser aplicado aos sistemas do SUS. descrito o

processo de pesquisa, anlise e classificao dos indicadores de avaliao para o modelo. Estetrabalho poder contribuir como mais uma referncia para estudos que envolvam processos deavaliao da qualidade de softwares em sade e auxiliar na normatizao de planos deavaliao e monitoramento de qualidade de sistemas e dados em sade pblica no Brasil e em

projetos de melhoria desoftware.

1. IntroduoA criao do Sistema nico de Sade (SUS), a partir da Constituio Federal de 1988,

estabeleceu bases para a estruturao de um sistema pblico de sade que tem como princpios adescentralizao, a integralidade, a equidade e o controle social (Brasil, 1988). Diversas aes

polticas nos vrios governos que se sucederam aps a criao do SUS definiram papis eresponsabilidades Unio, aos estados e aos municpios. Essas aes regulamentaram amunicipalizao e a regionalizao, a participao popular, as polticas de custeio efinanciamento, a autonomia dos estados e municpios na gesto de repasses de verbas para osfundos de sade e as estratgias para a ateno bsica, por meio do incentivo ao Programa de

Agentes Comunitrios de Sade (PACS) e ao Programa de Sade da Famlia (PSF) (Brasil,1990a; Brasil, 1990b; Brasil, 1991; Brasil, 1993; Brasil, 1996; Brasil, 1998; Brasil, 2001; Brasil,2002; Brasil, 2006a; Brasil, 2006b; Brasil, 2006c; Brasil, 2008; Brasil, 2009a; Brasil, 2011).

O Ministrio da Sade, por meio do Datasus, desenvolve e mantm um conjunto desistemas de informao, listados no Quadro 1, para dar suporte aos diversos eventosepidemiolgicos, de ateno bsica, ambulatoriais, hospitalares e nas vrias aesimplementadas pelo Ministrio da Sade no Brasil. Alguns sistemas foram criados entremeados da dcada de 70 e incio dos anos 80, a partir das primeiras discusses sobre sistemasde informao em sade, na I Conferncia Nacional de Sade (Brasil, 2009b).

Diversos trabalhos tm sido publicados sobre o uso dos sistemas de informaes doSUS, comumente chamados de SIS, pelo fato de alguns desses sistemas possurem esse

prefixo em seu nome. Alguns trabalhos apontam a falta de integrao dos diversos sistemas esuas bases de dados e a fragmentao de informaes nessas aplicaes (Souza, Freire eAlmeida, 2010; Dam et al., 2011; Almeida, Alencar e Shoeps, 2009; Almeida et al., 2006;Thaines et al., 2009). Outros trabalhos descrevem a baixa cobertura de alguns SIS e apontamincertezas quanto confiabilidade dos dados por eles mantidos (Dam et al., 2011; Almeida,Alencar e Shoeps, 2009; Almeida et al., 2006; Bittencourt, Camacho e Leal, 2006; Farias etal., 2011; Barbuscia e Rodrigues Jnior, 2011; Mota, 2009). A deficincia no apoio ao gestorem processos de tomada de deciso e planejamento, relatada em trabalhos antigos (Moraes,1994; Bordignon, 1996), ainda citada em trabalhos recentes (Figueiredo, 2009; Mota, 2009;Brito e Silva et al.,2010; Barbosa, 2006; Vidor, Fisher e Bordin, 2011; Vieira, 2009).

Historicamente, as informaes em sade no Brasil tm como caracterstica afragmentao, mltiplas fontes, baixa qualidade dos dados, disponibilizao em formato quedificulta sua apropriao pelos gestores e pelo controle social (Moraes, 2010) e o

8/11/2019 2013_EnANPAD_ADI221

2/16

2

monitoramento da qualidade dos dados dos sistemas de informao em sade que atendem aoSUS no segue um plano regular de avaliaes normatizado pelo Ministrio da Sade, apenasiniciativas isoladas (Lima et al., 2009). O portflio de sistemas do Datasus, em seu stioinstitucional (Ministrio da Sade, 2013), descreve que parte significativa dos SIS

caracterizam-se como sistemas legados, que utilizam tecnologias em desuso, alm da falta depadronizao de linguagens e bancos de dados, como mostra o Quadro 1.

Quadro 1. Sistemas de abrangncia nacional mantidos pelo DatasusFinalidadesou reas

Aplicaes Linguagens deprogramao

Bancos dedados

Modos deOperao

Cadastro Nacional dos Estabelecimentos de Sade (CNES) Delphi Firebird no informadoCadastro de usurios do Sistema nico de Sade (CADSUS) Java vrios SGBDs

relacionaisInternet

Tabelas corporativas no informado no informado no informado

CadastrosNacionais

Cadastros de unidades territoriais no informado no informado no informadoSist. de informao para gerenciamento de informaes locais(GIL)

Java Firebird RedeAmbulato-riais

Sistema de informaes ambulatoriais (SIASUS) Clipper DBF Local/redeSist. de Informaes para o Programa Nacional de Imunicao(SI-PNI)

Clipper/ASP/Delphi

DBF/Access/Paradox

no informado

Sistemas para o cncer da mulher (SISCOLO e SISMAMA) Clipper DBF LocalSistema de cadastro e acompanhamento de hipertensos ediabticos (HIPERDIA)

Delphi Interbase/Oracle

no informado

Epidemiol-gicos

Sistema para acompanhamento da gestante (SISPRENATAL) Delphi Paradox LocalSistema Integrado de Informatizao de Ambiente Hospitalar(HOSPUB)

Delphi Openbase/Postgres

rede

Sistema de informaes hospitalares(SIH) COBOL DBF/Firebird/Oracle

no informado

Sistema de gerenciamento em servios de hemoterapia(HEMOVIDA)

Delphi SQL-Server Rede

Sistema de Gerenciamento e Produo de Bancos de Leite

Humano(BLHWeb)

PHP MySQL Internet

Sist. de Informaes Hospitalares Descentralizado (SIHD) Delphi No informado Local/rede

Hospitalares

Sist. para Comunicao de Internao Hospitalar (CIH) Delphi Firebird IntranetSist. de Informao da Ateno Bsica (SIAB) Clipper DBF no informadoSist. de Vigilncia Alimentar e Nutricional (SISVAN) ASP Oracle Internet

Sociais

Sist. para o programa De Volta para Casa (PVC) ASP/Delphi Oracle InternetSist. para controle dos oramentos pblicos em sade (SIOPS) Delphi Oracle/XML no informadoSist. de Gesto de Informaes Financeiras (SGIF) Delphi Firebird no informado

Financeiros

Sist. de Gerenciamento Financeiro (SISGERF) no informado Oracle/Firebird

Intranet

Sist. de informao de nascidos vivos (SINASC) ASP Firebird/Interbase

Local/redeEventosvitais

Sist. de informao de mortalidade (SIM) ASP Firebird/Interbase

Local/ rede

Sistemas para o Cadastro Nacional de Transplantes (SNT-rgos/SNT-Tecidos)

Delphi Oracle/Access Internet

Relao de Doadores No Aparentados de Medula ssea(REDOMENet)

no informado no informado no informado

Sist. do Programa Nacional de Avaliao de Servios de Sade(SIPNASS)

no informado no informado no informado

Sist. para o Servio de Atendimento Mvel de Urgncia(SAMU)

no informado no informado Rede

Sist. para a Central Nacional de Regulao de AltaComplexidade (CNRAC)

Em desenvolvimento

Regulao

Sist. de Centrais de Regulao(SISREG-II) no informado no informado no informadoFonte: www.datasus.gov.brAcesso em 23 jan. 2013.

Aps essas consideraes, identifica-se uma demanda para discusso sobre aqualidade dos sistemas de informao em sade pblica no Brasil, e como estabelecer

8/11/2019 2013_EnANPAD_ADI221

3/16

3

diretrizes para processos de avaliao dos SIS. Nesse contexto, levantam-se as seguintesquestes:

P1: Como estruturar um instrumento para avaliao de sistemas de informao para ossistemas de informao do SUS de abrangncia nacional ?

P2: Quais indicadores devem ser includos no projeto desse instrumento?Nesse contexto, este trabalho prope um modelo de avaliao para sistemas deinformao em sade, que possa ser aplicado aos sistemas de informao de abrangncianacional do SUS, e descreve o processo de pesquisa, anlise e mapeamento de indicadores dequalidade para esse modelo.

2. MtodoO procedimento metodolgico deste trabalho consistiu em trs etapas bsicas:

1. Definio do modelo de qualidade: nessa etapa foi definida uma estrutura com asdimenses e caractersticas de qualidade para o instrumento de avaliao. A normaISO/IEC 25010 (International Organization for Standardization, 2011), que define um

modelo de qualidade para produto de software, foi utilizada para classificar osindicadores selecionados para o modelo.

2. Pesquisa bibliogrfica sobre indicadores para avaliao de sistemas de informao emsade: foi desenvolvido um processo de busca em bases de dados nacionais, comconsulta em revistas indexadas na base de peridicos da CAPES e nas bases de dadoscientficas internacionais Scopus, Science Direct e WebOfScience, com as seguintesdiretrizes:D1. Uso das seguintes palavras-chaves de forma combinada: InformationSystems,

Healthcare, Health, Evaluation e Benchmarking;D2. Priorizao de trabalhos publicados nos ltimos 10 anos;D3. Uso das ferramentas de ordenao por relevncia disponibilizadas pelos sites de

busca;D4. Leitura dos textos selecionados para seleo de publicaes que apresentam

modelos de avaliao de sistemas de informao em sade eD5. Avaliao recursiva de referncias bibliogrficas constantes nas referncias

recuperadas nos itens anteriores.3. Anlise e classificao de indicadores: nessa etapa foram realizadas a anlise

semntica e o mapeamento dos indicadores constantes nos trabalhos selecionados naetapa 2 para a estrutura do modelo de qualidade. Como resultado, os indicadoresforam classificados nas variveis do modelo de qualidade, aplicveis aos stakeholdersdas aplicaes a serem avaliadas.

Esta pesquisa acompanha as abordagens mais utilizadas em avaliao de tecnologia desistemas de informao em sade: segundo Pai e Huang (2011), nos trabalhos dos ltimoscinco anos sobre esse tema tm sido utilizados majoritariamente questionrios de pesquisa,entrevistas in-locoe estudos de casos individuais.

3. A Norma ISO/IEC 25010A Norma ISO/IEC 25010 (ISO, 2011) parte do projeto SQuaRE (Software product

Quality Requirements and Evaluation) - um conjunto de normas tcnicas que estabelecepadres para qualidade e que inclui gerncia, modelo, medio, requisitos e avaliao dequalidade para qualquer produto de software. Seu modelo de qualidade para produto de

software composto pelas dimenses qualidade do produto e qualidade em uso, conforme o

Quadro 2.A dimenso qualidade do produto inclui atributos do software decorrentes de seuprocesso de implementao, reviso e testes (qualidade interna) e atributos do software

8/11/2019 2013_EnANPAD_ADI221

4/16

4

associados sua execuo (qualidade externa). A qualidade em uso est associada ao grau emque o sistema atende aos objetivos do usurio em suas atividades. Cada dimenso do modelode qualidade da ISO/IEC 25010 especializa-se em um conjunto de caractersticas esubcaractersticas de qualidade, tambm descritas no Quadro 2.

Quadro 2. Modelo de Qualidade da norma ISO/IEC 25010Dimenses Caractersticas Subcaractersticas

Completeza funcional: capacidade do produto de softwarede prover um conjunto apropriado defunes para tarefas e objetivos do usurio especificados.

Corretude funcional: capacidade do produto de software de prover, com o grau de precisonecessrio, resultados ou efeitos corretos ou conforme acordados.

Suportabilidade funcional:capacidade do produto emprover funes para atender anecessidades explcitas eimplcitas para as quais foiconcebido.

Adequao funcional: capacidade do produto desoftwareem facilitar a realizao das tarefas eobjetivos do usurio.

Comportamento em relao ao tempo: capacidade do produto desoftwarede fornecer temposde resposta e de processamento apropriados, quando osoftwareexecuta suas funes, sobcondies estabelecidas.

Utilizao dos recursos: capacidade do produto desoftwarede usar tipos e quantidadesapropriados de recursos, quando executa suas funes sob condies estabelecidas.

Eficincia no desempenho:capacidade do produto desoftwarede manter um nvelde desempenho apropriado,quando usado em condiesespecificadas.

Capacidade: Limites mximos de parmetros do sistema (itens que podem ser armazenados,

nmero de usurios concorrentes, largura de banda, velocidade de transaes, tamanho dabase de dados, etc.) que atendem aos requisitos.Coexistncia: capacidade do produto desoftwarede coexistir com outros produtos desoftware

independentes, em um ambiente comum, compartilhando recursos comuns.Compatibilidade: capacidadedo produto desoftwarePossi-bilitar a troca de informaescom outras aplicaes e/oucompartilhar o mesmo ambi-ente de hardware ousoftware.

Interoperabilidade: capacidade do produto desoftwarede interagir com um ou mais sistemasespecificados, atravs da troca de informaes e do uso de informaes que so trocadas.

Inteligibilidade: capacidade do produto desoftwarede possibilitar ao usurio compreender se osoftware apropriado e como ele pode ser usado para tarefas e condies de uso especficas.Depende da documentao dosoftware.

Apreensibilidade: capacidade do produto desoftwarede possibilitar ao usurio aprender seuuso. Depende da documentao dosoftware.

Operabilidade: capacidade do produto desoftwarede possibilitar facilidade ao usurio paraoper-lo e control-lo.

Proteo ao erro do usurio: capacidade do produto desoftwareem proteger o usurio de erros.

Esttica da interface com o usurio: capacidade do produto desoftwarede ser atraente aousurio, ao oferecer uma interface com interao agradvel.

Usabilidade: capacidade doproduto desoftware, uma vezpossuindo efetividade eeficincia, de sercompreendido, aprendido,operado e atraente ao usurio,

quando usado sob condiesespecificadas.Acessibilidade: capacidade do produto desoftwareser utilizado por um amplo espectro de

pessoas, inclui portadores de necessidades especiais e com limitaes associadas idade.Maturidade:Capacidade do produto desoftwarede evitar falhas decorrentes de defeitos no

software, mantendo sua operao normal.Disponibilidade: capacidade do produto desoftwareem ser operacional e acessvel quando seu

uso for requerido.Tolerncia a falhas:capacidade do produto desoftwarede operar em um nvel de desempenho

especificado em casos de defeitos nosoftwareou no hardware.

Confiabilidade: capacidade doproduto desoftwareexecutarsuas funes de modocontnuo.

Recuperabilidade:capacidade do produto desoftwarede restabelecer seu nvel de desempenhoespecificado e recuperar os dados diretamente afetados no caso de uma falha.

Confidencialidade: capacidade do produto desoftwarede garantir que os dados sero acessveisapenas por pessoas que possuem acesso a eles.

Integridade: capacidade do produto desoftwarede evitar o acesso no autorizado para acesso oumodificao de programas ou dados.

No questionamento: capacidade do produto desoftwareem garantir que a ocorrncia de aesou eventos possam ser provados, evitando-se questionamentos futuros.

Responsabilizao: capacidade do produto desoftwareem auditar a rastreabilidade de acesso aoperaes.

Segurana: capacidade doproduto desoftwaredeproteger informaes e dados -

pessoas ou sistemas noautorizados no podem l-losnem modific-los e o acesso spessoas ou sistemasautorizados negado.

Autenticao: capacidade do sistema em validar a identidade de um usurio.Modularidade: capacidade do sistema possuir componentes discretos de modo que uma

modificao em um componente tenha impacto mnimo em outros componentes.Reusabilidade: capacidade dos componentes dosoftwareserem utilizados em outrosoftwareou

na construo de outros componentes/sistemas.Analisibilidade: capacidade do produto desoftwarede permitir o diagnstico de deficincias ou

causas de falhas, ou a identificao de partes a serem modificadas.Modificabilidade: capacidade do produto desoftwarede permitir que uma modificao

especificada seja implementada.

Manutenabilidade: capacidadedo produto desoftwarede sermodificado. As modificaespodem incluir correes,melhorias ou adaptaes dosoftwaredevido a mudanasno ambiente e em seusrequisitos ou especificaesfuncionais. Testabilidade: capacidade do produto desoftwarede permitir que osoftware,quando

modificado, seja validado.Adaptabilidade: capacidade do produto desoftwarede ser adaptado para diferentes ambientes

especificados, sem necessidade de aplicao de outras aes ou meios alm daquelesfornecidos para essa finalidade pelosoftwareconsiderado.

Qualidadedo

produto

Portabilidade: capacidade doproduto desoftwarede sertransferido de um ambientepara outro. Capacidade para ser instalado: capacidade do produto desoftwarepara ser instalado em um

8/11/2019 2013_EnANPAD_ADI221

5/16

5

ambiente especificado.Capacidade para substituir: Capacidade do produto desoftwarede ser usado em substituio a

outro produto desoftwareespecificado, com o mesmo propsito e no mesmo ambiente.Efetividade: capacidade do produto desoftwarede permitir que usurios atinjam metas especificadas com acurcia ecompletitude, em um contexto de uso especificado.Eficincia: capacidade do produto desoftwarede permitir que seus usurios empreguem quantidade apropriada de recursos em

relao efetividade obtida, em um contexto de uso especificado.Utilidade: grau em que o usurio percebe que osoftwareauxilia na execuo de suas atividades.Credibilidade: grau de confiana que usurio tem no correto comportamento do sistema.Agradabilidade: grau de contentamento do usurio no uso dosoftware.

Satisfao: capacidade doproduto desoftwaredesatisfazer usurios, em umcontexto de uso especificado. Conforto: grau de conforto fsico no uso dosoftware.

Mitigao de riscos econmicos: grau em que osoftwarereduz potenciais riscos de naturezafinanceira, de operaes, de propriedade ou de reputao em seu contexto de uso.

Mitigao de riscos de segurana e sade: grau em que osoftwarereduz potenciais riscos apessoas em seu contexto de uso.

Ausncia de riscos: capacidadedo produto desoftwaredeapresentar nveis aceitveis deriscos de danos a pessoas,negcios, propriedades ou aoambiente.

Mitigao de riscos ambientais: grau em que osoftwarereduz potenciais riscos ao ambiente emseu contexto de uso.

Completude de contexto: grau em que osoftware utilizado em todos os contextos de uso (porexemplo: com uso de um monitor de baixa resoluo, com baixa taxa de acesso rede, porum usurio inexperiente ou sem acesso rede).

Qualidadeemuso

Cobertura de contexto:capacidade do produto desoftwareser utilizado em seucontexto de uso e almdaqueles inicialmente

especificados.

Flexibilidade: grau em que osoftware utilizado alm de seu contexto previsto de uso (se umsoftwareno foi projetado para flexibilidade, pode no ser seguro em contextos no

planejados).Fonte: adaptado de ISO(2011)

4. A estrutura do modelo de avaliao para sistemas de informao em sadeA estrutura do modelo de avaliao proposto nesse trabalho apresentada na Figura 1.

O modelo de qualidade foi estruturado em trs dimenses: qualidade do produto e qualidadeem uso da norma ISO/IEC 25010 (ISO, 2011), acrescido da dimenso qualidade de servios,

por observar-se a ocorrncia de indicadores dessa dimenso em trabalhos sobre avaliao desistemas de informao em sade (Pai e Huang, 2011; Hubner-Bloder e Ammenwerth, 2009;Ribire et al., 1999; DeLone e McLean, 2003). A opo pelo uso na norma ISO/IEC 25010,

nesse trabalho, deu-se por sua estrutura abrangente e atual, quando comparada com outrosmodelos de qualidade analisados (Associao Brasileira de Normas Tcnicas, 2003; Centro deTecnologia da Informao Renato Archer, 2012; DeLone e McLean, 2003; McCall, Richardse Walters, 1977 apudPressman, 2010).

Figura 1. Estrutura do modelo de avaliao

baseparaaplicaode

possuidimenses

avaliadosem

aplicamsea

Doc.RequisitosDocum.Tcnica

PadresBenchmarks

SistemadeInformao

Caractersticasesubcaractersticasdequalidade

Escalas

expressamseem aplicamsea

estruturadosemQualidadedeservios

Qualidadeemuso

Qualidadedoproduto

Procedimentosdeinspeo

Questes

basepara

Stakeholders

Gestores Profissionaisdesade Pacientes/usurios ProfissionaisdeTI

possuem

apoiamaconstruode

Indicadoresdequalidade

Questionrios

de

avaliaoutilizam/mantm

Mtricas

ModelodeQualidade

refinamseem

8/11/2019 2013_EnANPAD_ADI221

6/16

6

As dimenses do modelo de qualidade detalham-se em um conjunto de atributos ascaractersticas e subcatersticas de qualidade, bases para a especificao de requisitos dequalidade para os processos de avaliao. Os indicadores de qualidade so utilizados paramensurao das caractersticas de qualidade, por meio de um conjunto de questionrios e

procedimentos de inspeo de software, aplicveis aos sistemas de informao em sade aseus diferentesstakeholders. Comostakeholders, o modelo inclui: Gestores: usurios do sistema em seu nvel estratgico; Profissionais de sade: usurios do sistema em nveis ttico e operacional; Pacientes: usurios que acessam sistemas apenas para consultas, como usurios do

sistema de sade; Profissionais de Tecnologia da Informao: compem o staff tcnico do sistema;

inclui desenvolvedores, manutenedores, profissionais de suporte tcnico ou afins.Cada questionrio de avaliao estruturado em conjunto de questes, para uso em

entrevistas com usurios. Um procedimento de inspeo utiliza uma ou mais mtricas desoftware para avaliar objetivamente seu indicador e pode incluir anlise documental,teste/simulao do softwareou medio/ensaio de desempenho. As questes e mtricas soavaliadas em escalas apropriadas, com critrios e pontuao definidos e podem utilizarelementos de documentao do sistema, padres ou benchmarksde referncia, documentaode requisitos ou documentao tcnica em sua estruturao ou mensurao.

5. A etapa de seleo de indicadores de qualidade para sistemas de informao em sadeFoi conduzido um processo de pesquisa em bases de dados para seleo de trabalhos

relevantes que apresentassem indicadores de qualidade para uso no instrumento de avaliao.Conforme procedimento metodolgico descrito na etapa 2 da Seo 2, foram selecionadossete trabalhos, dos seguintes autores: Hbner-Bloder e Ammenwerth (2009), Ribire et al.

(1999), Pai e Huang (2011), Otieno et al. (2008), Viitanen et al. (2011), Anderson e Aydin(2005) e Lima et al. (2009).Hbner-Bloder e Ammenwerth (2009) identificaram indicadores chaves para

realizao de benchmarks em sistemas de informao para hospitais com o uso da tcnicaDelphi, aplicada a um painel de especialistas da ustria, Alemanha e Sua. Delphi umatcnica para conduo de questionrios, composta por vrios estgios, com o objetivo obterconsensos a partir das opinies de um grupo, e tem sido frequentemente aplicada para tomadade decises na rea de sade (Hasson, Keeney e McKeena, 2000).

No trabalho de Hbner-Bloder e Ammenwerth(2009), ocorreram trs rodadas dequestionrios. A primeira, de natureza qualitativa, com questes abertas para coletar opiniesde um conjunto de especialistas sobre indicadores de avaliao para sistemas de informao

para hospitais. O segundo questionrio foi de caracterstica quantitativa, com escala Likert dequatro pontos, que foi submetido aos gestores para se avaliar a importncia de cada indicadoridentificado na primeira rodada. Os resultados da segunda rodada foram reenviados aosgestores para permitir que suas opinies fossem reavaliadas. Como resultado, foramidentificados 77 indicadores de avaliao, organizados em oito categorias: qualidade tcnica,qualidade desoftware, qualidade da arquitetura e da interface, qualidade do fornecedor de TI,qualidade do departamento de suporte de TI, qualidade do suporte ao fluxo de trabalho,qualidade em resultados de TI e Custos de TI.

Ribire et al. (1999) desenvolveram um conjunto de questionrios para avaliar o nvelde satisfao de diferentes grupos de usurios de sistemas de informao, organizado em seisdimenses: qualidade dos servios entregues pelo sistema, qualidade do sistema (interface,

funes e desempenho), qualidade da informao e sentido global de satisfao do usurio.Cada dimenso dividida em um conjunto de fatores que agrupam uma lista de questes, em

8/11/2019 2013_EnANPAD_ADI221

7/16

7

um total de vinte e oito fatores. Em cada fator, o usurio expressa seu nvel de satisfao emuma escala de Likert de sete pontos para um conjunto de questes.

Pai e Huang (2011) conduziram um processo de avaliao de sistemas de informaoem sade em Taiwan, por meio da aplicao de questionrios em cem hospitais distritais. O

questionrio baseou-se no modelo de DeLone e McLean (2003), composto de seis variveis:qualidade da informao, qualidade de servios, qualidade do sistema, utilidade do sistema,facilidade de uso e inteno de uso, contendo questes com respostas da escala de Likert decinco pontos.

Otieno et al. (2008) propuseram um framework de avaliao para sistemas deinformao que incluem registro mdico eletrnico (EMR), que foram respondidos porgestores e usurios de vinte hospitais no Japo, incluindo hospitais governamentais, semi-governamentais, privados e universitrios. O framework tambm se baseou no modelo deDeLone e McLean (2003) e foi estruturado em cinco dimenses: qualidade do sistema,qualidade da informao, qualidade dos servios, utilizao e satisfao do usurio. Osquestionrios de avaliao foram aplicados aos seguintes stakeholders: coordenador de

informtica, coordenador mdico, coordenador de enfermagem, mdico e enfermeiro.Viitanen et al. (2011) desenvolveram um estudo sobre uma avaliao de abrangncia

nacional, na Finlndia, em hospitais de nveis secundrio e tercirio. Os sistemas desseshospitais foram avaliados por 3929 mdicos para investigar sua usabilidade em sistemas queincluem o registro mdico eletrnico. O questionrio foi organizado com 32 questes naescala de Likert de cinco pontos, estruturadas em trs dimenses:

- a compatibilidade entre os sistemas e as tarefas dos profissionais, relacionadas sfuncionalidades dos sistemas, com o desempenho e com a interface com o usurio;

- o suporte para troca de informaes, colaborao e comunicao no trabalho clnico;- a interoperabilidade e a confiabilidade do sistema.

Para Anderson e Aydin ( 2005), ao se avaliar o impacto de sistemas de informao emorganizaes de sade, deve-se buscar no apenas a compreenso sobre a tecnologia utilizada,mas tambm a compreenso dos complexos processos sociais e comportamentais daorganizao. A proposta de avaliao de Anderson e Aydin predominantemente qualitativa e

prope doze questes chaves para avaliao de sistemas de informao em sade, que devemser desenvolvidas pelos avaliadores com tcnicas adequadas, como entrevistas, observao,anlise documental ou questionrios.

Lima et al. (2009) investigaram as iniciativas de avaliao da qualidade da informaodos sistemas de informaes do sistema pblico de sade no Brasil. A pesquisa baseou-se na

busca de artigos publicados em revistas cientficas nas bases ScieLO, LILACS e BVS, ecategorizou os trabalhos sobre qualidade da informao em sistemas de informao dos SIS-

SUS em nove dimenses conceituais: acessibilidade, clareza metodolgica, cobertura,completude, confiabilidade,consistncia, no duplicidade, oportunidade e validade.

6. A etapa de anlise e estruturao de indicadoresEssa etapa consistiu em avaliar e selecionar os indicadores constantes nos trabalhos

obtidos na etapa anterior e classific-los na estrutura do modelo de qualidade proposto nessetrabalho. Como forma de sistematizar o instrumento de avaliao, a estrutura da normaISO/IEC 25010 (ISO, 2011), acrescida da dimenso Qualidade de Servios, foi empregadacomo um gabarito: um containerque agregou e classificou cada indicador observado nostrabalhos selecionados em sua estrutura de caractersticas e subcaractersticas.

A Figura 2 descreve o processo de mapeamento de indicadores para estruturao do

modelo de avaliao proposto: cada indicador de cada trabalho foi inspecionado, por meio daanlise de sua semntica e, se aplicvel s variveis do modelo proposto, foi classificado emuma dimenso, caracterstica e subcaracterstica de qualidade.

8/11/2019 2013_EnANPAD_ADI221

8/16

8

Houve situaes em que um mesmo indicador foi proposto por diferentes autores,assim como, em alguns casos, mais de um indicador proposto por um dado autor foi mapeado

para um nico no modelo proposto. Os casos de indicadores que no foram utilizados deveu-se no aplicabilidade no contexto do SUS, a dificuldades de se obter informaes para

quantificar o indicador ou subjetividade.

Figura 2. Processo de mapeamento na estruturao do modelo de avaliao

Como resultado, essa etapa gerou uma lista de indicadores de qualidade, estruturadosnas variveis do modelo de qualidade, base para elaborao de questionrios de avaliao

aplicveis aos grupos de usurios dos sistemas, e de procedimentos de inspeo, aplicveisaos profissionais de tecnologia da informao mantenedores das aplicaes. O Quadro 3 dessa

Aplicveisa

Stakeholders

Trabalhossobreindicadoresparasistemasdeinformaoemsade

Qualidadedosservios

QualidadeemusoCaracterstica1subcaracterstica1.1...subcaracterstica

1.n

...caractersticansubcaracterstican.1...subcaracterstican.n

Qualidadedeprodutocaracterstica1subcaracterstica1.1...subcaracterstica

1.n

...caractersticansubcaracterstican.1...subcaracterstican.n

Limaetal.(2009)Indicador1...Indicadorn

AndersoneAydin(2005)Indicador1...Indicadorn

Viitanenetal.(2011)Indicador1...Indicadorn

Otienoetal.(2008)Indicador1...Indicadorn

Ribireetal.(1999)Indicador1...Indicadorn

HubnerBlodereAmmenwerth(2009)Indicador1...Indicadorn

PaieHuang(2011)Indicador1...Indicadorn

Anlisesemnticaeclassificao

OindicadoraplicvelaosSIS?Emqualdimenso/caracterstica/subcaractersticade ualidade?

Questionriosde

avaliao

paracadaindicadordecadatrabalho

classificaodoindicador

Modelodequalidade

Profissionaisdesade

ProfissionaisdeTI

Pacientes/usurios

Baseparaestruturaode

Aplicveisa

Sistemasdeinformao(SISSUS)(mantenedoresdeaplicaes)

ProcedimentosdeInspeo

(aplicaodemtricas)

Testedesoftware

Mediodedesempenho

Anlisedocumental

8/11/2019 2013_EnANPAD_ADI221

9/16

9

etapa, com 32 indicadores na dimenso qualidade do produto, 16 na dimenso qualidade emuso e oito na dimenso qualidade de servios.

Quadro 3. Mapeamento de indicadores na estruturao do instrumento de avaliao.DimensesCaractersticas Subcaractersticas/Indicadores MododeavaliaoA informao tratada pelo sistema atende snecessidadesdousurio[1][2][3][4][5][6]

QuestionriodeavaliaoProcedimento deinspeo

Osistemaoferecesuporte/auxiliaparatomadadedeciso[2][4][5]


Osistemaobedeceanormaslegaisdeinformao(CID10,DRG,transmissodedados,etc.)[3]


O sistema auxilia na preveno de erros demedicao[2]


Completezafuncional

A documentao clnica gerada pelo sistema corretaecompleta[3]


Corretudefuncional

O sistema disponibiliza a informao correta[1][4][7]


suportabilidadefuncional

Adequao

funcional

O sistema integra processos de diferentes

reas/departamentos[4][6]

Questionriodeavaliao

Procedimentode

inspeo

Odesempenhodosistemasatisfatrio:osdadosso processados em um perodo de tempoaceitvel/O sistema responde rapidamente sentradas[2][3][4][7]


Otempodeautenticaoparaacessoaosistemaadequado[2][3]


Eficincianodesempenho

Comportamentoemrelaoao

tempo

A documentao clnica gerada pelo sistemaatendesrestriesdetempoexigidas[3]


Coexistncia O sistemaprov acesso a seus dados apartir deoutrossistemas[5]


ompatibilidadeInteroperabilidade

Osistemapodeestarintegradoouconectadoparaacessarinformaesdeoutrossistemas[1][2][3][4]


O sistema disponibiliza manuais, tutoriais ou

documentao

para

treinamento/acesso

a

dados

e/ouhelponline[3][4][7]


Procedimentode

inspeoApreensibilidade

A aprendizagem do sistema no exige um longotreinamento[2]


O sistema de utilizao fcil/intuitiva[1][2][3][4][7]


A navegao pelo sistema rpida e padronizada[3][4]


O sistema oferece feedback ao usurio para astarefasquesoexecutadas[2]


Operabilidade

O software permite adaptaes para atender anecessidades locais/especficas, pelo prpriousurio[3]


Proteoaoerrodousurio

simples, fcil e seguro corrigir um erro (osistemaimplementareversibilidade)[4]


Osarranjos

dos

campos

da

interface

so

ajustveisaotrabalhodousurio[2]Questionrio

de

avaliao

Procedimento deinspeoA interface (telas/formulrios/entradas dedados/relatrios/grficos) clara,assimcomoostermos e conceitos utilizados no sistema soclarosesemambiguidades[1][2][4]


Usabilidade

Estticadainterfacecom

usurio

O sistema apresenta interfaceuniforme/padronizada [3]


Osistemaapresentabaixosndicesdechamadosdemanutenodesoftware[3]


Ascorrees,melhoriasouatualizaes deversonocausaminstabilidadenosistemaenodemandamesforosoutempoexcessivos[3]


Maturidade

Osistemaconfivel,estvel,enoocorremerrosduranteseuuso[2][5]


Qualidadedo

produto

Confiabilidade

Disponibilidade Osistemaencontrasesempredisponvel[3][5]QuestionriodeavaliaoProcedimento deinspeo

8/11/2019 2013_EnANPAD_ADI221

10/16

10

TolernciaafalhasOsistemapossuirecursosparaarmazenamento redundante dedados[3]

Procedimento deinspeo

RecuperabilidadeOsistemaapresentabaixonveldeperdadedadosemecanismoseficientesderestauraodedados[2][3]


Segurana Confidencialidade,AutenticaoeIntegridade

Noh

riscos

de

acesso

no

autorizado

s

informaesdosistema[4]Procedimento deinspeo

Manutenabilidade

ModularidadeeModificabilidade

Osoftwareintegrase(comfacilidade)comnovasfunes/sistemas [4]


Osistemaoperaemambientesquesopadresdemercado(sistemaoperacional,bancodedados,ferramentasdedesenvolvimento, etc.)[3]


Portabilidade AdaptabilidadeOsistemaapresentaindependnciaemobilidadeparaarmazenamentoerecuperaodainformao(notebooks,tablets,PDAs,etc)[3]


Eupossoobterasinformaesrelacionadas quenecessitoduranteousodosistema[1][4][5][6][7]


Asinformaesnosistemaapresentamsecompletas,atualizadas, padronizadas[4][5][7]


Osistema

contribui

efetivamente

com

os

objetivos

estratgicos

do

gerenciamentodeprofissionais(equipesmdicas,deenfermagem,administrativas, etc.)[3]


Efetividade

Osistemaproduziumelhorianaqualidadedaofertadosserviosdesade[2][5][6]


Osistemapodereduzirotempodetrabalho[1][4]QuestionriodeavaliaoProcedimento deinspeo

Observasesermaisfcilefluentearmazenarerecuperarinformaescomusodosistema[2][6]


Osistemamelhorouogerenciamentodosserviosdesade[6] Questionriodeavaliao

Ousurionoperdetemponaresoluodeproblemastcnicosassociadosaosistema[2]


Eficincia

Osistemaeficaz,considerandoseuscustos(custo/benefcio)

[3][4][6]


Osistemaimportante:percebesesuautilidadeemseucontextodeuso[4]


Astarefasderotinapodemserrealizadasdemaneirasimplescomousodosistema[2]


Utilidade

Osistemapodemelhorarminhascompetnciasprofissionais[1]


CredibilidadeOsistemaforneceumavisoadequadasobreasinformaesquemanipula[2]


Satisfao

AgradabilidadeDiferentesgruposdeusuriosestosatisfeitoscomosistema[3][5]


Ausnciaderiscos

Segurana/sade

Nohriscosdousodosistemaafetaraseguranadopaciente[2][6][5]


Qualidadeemuso

Coberturadecontexto Completudedecontexto

Osistemaoperaconformeseuprojeto[4][6]


Humaequipe(staff)parasuporteefetivonousodosistema[4]QuestionriodeavaliaoProcedimento deinspeo

Humserviodeatendimentoonline(hotline)parasuporteaosistema[4] Procedimento deinspeo

Aequipedesuporteaosistemaadequadamentedimensionadaparaademanda[3]QuestionriodeavaliaoProcedimento deinspeo

Aequipedesuporteaodesenvolvimento, manutenoeapoioaousurioqualificada[3]


Emsituaesdedificuldadeostaffdesuporteaosistemapodeauxiliarmenaresoluodeproblemas[1]


Ostaffdesuporteaosistemaatuaadequadamentenaresoluodeproblemas[1]QuestionriodeavaliaoProcedimento deinspeo

Oprocessamentodesolicitaesdemudanasrequeridasparaosistema

adequado(tempo,

modificaes,

abertura

participao

do

usurio)

[3][4]


Qualidadedeservios

Aequipedesuporteaosistemaoferecetreinamento/qualificaoparaseuuso[3][6][4]


Legenda: [1] Pai e Huang (2011) [2] Viitanen et al. (2011) [3] Hubner-Bloder e Ammenwerth (2009) [4]

8/11/2019 2013_EnANPAD_ADI221

11/16

11

Ribire et al. (1999) [5] Otieno et al. (2008) [6] Anderson e Aydin (2005) [7] Lima et al. (2009).

O mapeamento dos indicadores para o modelo de qualidade do instrumento deavaliao, descrito no Quadro 3, mostrou que os indicadores selecionados cobrem a quasetotalidade das caractersticas de qualidade do modelo, porm, observou-se que:

Os tens concentram-se predominantemente em suportabilidade funcional, usabilidade,confiabilidade, compatibilidade, qualidade em uso (predominantemente emefetividade, eficincia e utilidade) e qualidade de servios;

As caractersticas de qualidade segurana e manutenabilidade apresentaram baixacobertura de indicadores (um indicador em cada uma dessas subcaractersticas);

As demais caractersticas (eficincia no desempenho, portabilidade, cobertura deContexto, satisfao e ausncia de riscos) concentraram indicadores em algumassubcaractersticas ou tambm apresentam baixa cobertura.Para complementao do modelo de avaliao nos atributos de qualidade com

carncia de indicadores, outros 10 indicadores foram propostos pelo autor, descritos no

Quadro 4. A proposio de novos indicadores apoiou-se na leitura das normas ISO/IEC 25023(ISO, 2011) e ISO/IEC 9123-3 (ISO, 2003), que estabelecem mtricas de avaliao para adimenso de qualidade de produto de software. Com a incluso desses indicadores, foramcobertas todas as subcaractersticas da dimenso qualidade do produto, com exceo de:

Utilizao de recursos: esta varivel refere-se a medidas de uso de processador,memria e dispositivos de entrada e sada, aplicveis principalmente a sistemas detempo real, em que a falta desses recursos pode causar efeitos severos para a operaodo sistema, mas considerados no to crticos s aplicaes transacionais, como ossistemas de informao em sade;

Inteligibilidade: esta varivel associa-se propriedade do software de possuirelementos, em sua documentao, que possibilitem ao usurio compreender se o

software apropriado s suas atividades e como pode ser utilizado em suas tarefas,muito til em contextos de seleo ou benchmarkde produtos de software. Como osSIS j so estruturados com orientao s tarefas de profissionais, esta propriedadetambm foi considerada no crtica;

Capacidade para substituir: refere-se a propriedades que o software possui parasubstituir outro sistema existente, como facilidades para migrao de dados, paraincluso de funcionalidades em substituio a outras anteriormente implantadas eadaptabilidade s interfaces da aplicao anterior. Essa propriedade tambm no seaplica ao contexto dos SIS.

Quadro 4. Indicadores para avaliao de qualidade propostos pelo autorDimenses/caractersticas/subcaractersticas

Indicadores

propostos

pelo

autor

Eficincianodesempenho

Capacidade Osistemaprovaosseususuriosacessosimultneoadequado,comdesempenhosatisfatrio.

Osistemaimplementaaverificaodevaloresvlidosementradasdedados.

Proteoaoerrodousurio

Osistemaevitaoperaesincorretas.Usabilidadecessibilidade Osistemaincluifacilidadesdeacessoparausurioscom

necessidadesfsicasespeciaisouporidade.Noquestionamento Osistemaincluiassinaturadigital.

SeguranaResponsabilizao Osistemapossuimecanismosdeauditoria/rastreabilidade.Reusabilidade Osistemapossuicomponentesdesoftwarereutilizveis.nalisabilidade Exigesepoucoesforoparalocalizarcausasdefalhasnosoftware.anutenibilidadeestabilidade Osistemapodesereficazmentetestadoapsumamodificao.

Qualidadedoproduto

Portabilidade

Capacidadeparaserinstalado

Ainstalaodosistemanoambientedousuriofcilerpida.

8/11/2019 2013_EnANPAD_ADI221

12/16

12

Ao final dessa etapa, espera-se que o modelo de avaliao tenha abrangido osprincipais aspectos de qualidade no domnio de sistemas de informao em sade, ao agregarum elenco holstico de indicadores para composio de questionrios de avaliao e

procedimentos de inspeo desoftware, previstos em sua arquitetura.

7. Consideraes finaisNo Brasil, a implantao do SUS trouxe uma perspectiva moderna para o sistema

pblico de sade, por meio da estruturao de uma rede hierarquizada de atendimento e deuma poltica de descentralizao das aes de sade, que busca eficincia e autonomia aosgestores para tomadas de deciso. Atravs de uma poltica de gesto pactuada, busca-seconsolidar a equidade social (Fadel et al., 2009). No entanto, trabalhos que fazem refernciaao uso dos SIS sugerem que uma infraestrutura de tecnologia da informao para o SUS, queoferea suporte adequado para sua gesto, ainda um desafio para a administrao pblica.

Este artigo apresenta um modelo de avaliao para sistemas de informao em sadeque possa ser aplicado aos SIS-SUS e descreve as atividades de seleo, anlise e

estruturao dos indicadores para as caractersticas de qualidade. O processo de seleo deindicadores de qualidade para sistemas de informao em sade baseou-se em trabalhos daliteratura e foi complementado pelo autor, com base em normas ISO para mtricas de

software. A arquitetura do modelo proposto prev procedimentos de avaliao orientados astakeholders com interesses conflitantes, por meio de questionrios de avaliao para osdiferentes tipos de usurios dos sistemas e procedimentos de inspeo aplicveis aos

profissionais de TI responsveis por sua manuteno.Aformulao de questes de avaliao e estruturao de questionrios segmentados

aos diferentes stakeholders e a proposio de mtricas de softwarepara os indicadores dequalidade selecionados para o modelo so as prximas etapas previstas para esse projeto, comdefinio de escalas e regras de medio apropriadas, para os questionrios de avaliao e

procedimentos de inspeo. Em sequncia, ser desenvolvido um estudo piloto de avaliao,para verificar a efetividade do instrumento. Para validao do modelo, planeja-se submet-loa um painel de especialistas, juntamente com os resultados do estudo piloto.

Ao propor um novo modelo para avaliao de sistemas de informao em sade, estetrabalho poder contribuir como mais uma referncia para estudos que envolvam processos deavaliao da qualidade tcnica de softwares em sade e agregar contedo e/ou fornecersubsdios para projetos que tratem da normatizao de planos de avaliao e monitoramentode qualidade de sistemas e dados em sade e em projetos de melhoria de ativos de software

para gesto da sade pblica no Brasil.

Referncias

ABNT. ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. NBR ISO/IEC 9126-1:2003 - Engenharia de software - Qualidade de produto -Parte 1: Modelo de qualidade. Riode Janeiro: ABNT, 2003.

ALMEIDA, M. F.; ALENCAR, G. P.; SHOEPS, D. Sistema de informaes sobre NascidosVivos Sinasc: Uma avaliao de sua trajetria. In: BRASIL. Ministrio da Sade. Aexperincia brasileira em sistemas de informao em sade. Volume 1. Ministrio daSade:Organizao Pan-Americana da Sade:Fundao Oswaldo Cruz. Braslia : Editora doMinistrio da Sade, p. 11-37, 2009.

ANDERSON, J.; AIDYN, C. E. Evaluating the organizational impact of healthcareinformation systems. New York:Springer, 2005.

8/11/2019 2013_EnANPAD_ADI221

13/16

13

BARBOSA, D. C. M. Sistemas de Informao em Sade: A percepo e a Avaliao dosProfissionais envolvidos na Ateno Bsica em Ribeiro Preto-SP. 2006. 100 f. Dissertao(Mestrado). Faculdade de Medicina de Ribeiro Preto. Universidade de So Paulo, 2006.

BARBUSCIA, D. M.; RODRIGUES JNIOR, A. L. Completude da informao nasdeclaraes de nascido vivo e nas declaraes de bito, neonatal precoce e fetal, da regio deRibeiro Preto, So Paulo, Brasil, 2000-2007. Cadernos de Sade Pblica, Rio de Janeiro,,n. 27, v. 6, p.1192-1200, 2011.

BITTENCOURT, S. A.; CAMACHO, L. A. B.; LEAL, M. C. Sistema de informaohospitalar e sua aplicao na sade coletiva. Cadernos de Sade Pblica, n. 22, v.1, p. 19-30. Rio de Janeiro. 2006.

BORDIGNON, M. O. Informao em sade: potencializao e sentido. In: BORDIN, R, etal., organizadores. Prticas de gesto em sade: em busca da qualidade. Porto Alegre:Dacasa, 1996.

BRASIL. Constituio da Repblica Federativa do Brasil de 1988. Disponvel em. Acesso em01.jan.2013.

______. Lei n 8.080, de 19 de setembro de 1990. Casa Civil da Presidncia da Repblica.Disponvel em . Acesso em 15 abr.2012.

______. Lei n 8.142, de 28 de dezembro de 1990. Casa Civil da Presidncia da Repblica.Disponvel em . Acesso em 15 abr.

2012.______. Norma Operacional Bsica/SUS n 01/91. Instituto Nacional de Assistncia Mdicada Previdncia Social. Resoluo n 258, de 07 de janeiro de 1991. Disponvel em . Acesso em 15abr. 2012.

______. Norma Operacional Bsica/SUS n 01/93. Ministrio da Sade. Portaria no545, de29 de Maio de 1993.Disponvel em . Acesso em 15 abr. 2012.

______. Norma Operacional Bsica/SUS n 01/96. Ministrio da Sade. Disponvel em

. Acesso em 15 abr. 2012.______. Norma Operacional Bsica/SUS n 01/98. Ministrio da Sade. InstruoNormativa n 01/98 de 02 de janeiro de 1998. Disponvel em. Acesso em 15 abr. 2012.

______. Norma Operacional de Assistncia Sade/NOAS-SUS n 01/2001. Ministrio daSade. Portaria n 95, de 26 de janeiro de 2001. Disponvel em.Acesso em 15 abr. 2012.

______. Norma Operacional de Assistncia Sade/NOAS-SUS n 01/2002. Ministrio da

Sade. Portaria n 373, de 27 de fevereiro de 2002. Disponvel em

8/11/2019 2013_EnANPAD_ADI221

14/16

14

. Acesso em15 abr. 2012.

______. Portaria no399/GM, de 22 de fevereiro de 2006. Ministrio da Sade. Pacto pela

Sade. Divulga o Pacto pela Sade 2006 Consolidao do SUS e aprova as diretrizesoperacionais do referido pacto. Disponvel em. Acesso em 15abr. 2012.

______. Portaria no699/GM, de 30 de maro 2006. Ministrio da Sade. Pacto pela Sade.Regulamenta as diretrizes operacionais dos pactos Pela Vida e de Gesto.Disponvel em. Acesso em 15 abr.2012.

______. Diretrizes operacionais dos pactos pela vida, em defesa do SUS e de gesto.Documento pactuado na reunio da Comisso Intergestores Tripartite do dia 26 de janeiro de

2006 e aprovado na reunio do Conselho Nacional de Sade do dia 09 de fevereiro de 2006.Braslia:Ministrio da Sade, 2006. Disponvel em. Acesso em 30 set.2012.

______. Portaria no325, de 21 de fevereiro de 2008. Ministrio da Sade. Disponvel em. Acesso em 29ago. 2012.

______. Portaria no2669, de 3 de novembro 2009. Ministrio da Sade. Disponvel em. Acesso em

29 ago. 2012.______. A experincia brasileira em sistemas de informao em sade. Volume 1.Ministrio da Sade: Organizao Pan-Americana da Sade:Fundao Oswaldo Cruz.Braslia: Editora do Ministrio da Sade, 2009.

______. Decreto n 7.508, de 28 de junho de 2011. Casa Civil da Presidncia da Repblica.Disponvel em . Acesso em 12 out. 2012.

______. Ministrio da Sade. Departamento de Informtica do SUS (DATASUS-Stioinstitucional). Disponvel em: . Acesso

em: 24 mar. 2013.

BRITO E SILVA, K. S. et al. Conhecimento e uso do Sistema de Informaes sobreOramentos Pblicos em Sade (SIOPS) pelos gestores municipais, Pernambuco, Brasil.Cadernos de Sade Pblica, Rio de Janeiro, n. 26, v. 2, p. 373-382, 2010.

CTI. Centro de Tecnologia da Informao Renato Archer. SoftwarePblico Brasileiro.Disponvel em . Acesso em 30.dez.2012.

DAM, P. K. V. et al.. Sistema de Vigilncia Alimentar e Nutricional (SISVAN) em crianasdo Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados.Cadernos de Sade Pblica, n. 27, v.11, p. 2155-2165, 2011.

8/11/2019 2013_EnANPAD_ADI221

15/16

15

DeLONE, W. H.;McLEAN, E. R. The DeLone and McLean Model of Information SystemsSuccess: A Ten-Year Update.Journal of Management Information Systems,v.19, p 9-30,2003.

FARIAS, L. M. M. et al.. Os limites e possibilidades do Sistema de Informao daEsquistossomose (SISPCE) para a vigilncia e aes de controle. Cadernos de SadePblica, Rio de Janeiro, n.27, v. 10, p. 2055-2062, 2011.

FADEL, C. B. Administrao pblica: o pacto pela sade como uma nova estratgia deracionalizao das aes e servios em sade no Brasil. Revista de Administrao Pblica,v. 43, n. 2, p. 445-456, 2009.

FIGUEIREDO, L. A.Anlise da utilizao do Sistema de Informao em Ateno Bsica SIAB pelos coordenadores da Ateno Primria Sade na tomada de deciso. 2009.121f. Dissertao (Mestrado) Escola de Enfermagem de Ribeiro Preto. Universidade deSo Paulo, Ribeiro Preto, 2009.

HASSON, F.; KEENEY, S.; McKEENA, H. Research guidelines for the Delphi surveytechnique.Journal of Advanced Nursing,v. 32, p. 1008-1015, 2000.

HBNER-BLODER, G.; AMMENWERTH. E. Key Performance Indicators to BenchmarkHospital Information Systems A Delphi Study. Methods of Information in Medicine. v. 6,

p. 508-518, 2009.

ISO. International Organization for Standardization. ISO/IEC TR 9126-3. Softwareengineering Product Quality part 3: Internal metrics. 2003.

ISO. International Organization for Standardization. ISO/IEC 25010. Systems andsoftwareengineering -systems andsoftwareQuality Requirements and Evaluation (SQuaRE) - Systemandsoftwarequality models. 2011.

ISO. International Organization for Standardization. ISO/IEC 25023. Systems andsoftwareengineering -systems andsoftwareQuality Requirements and Evaluation (SQuaRE) Measurement of system and software product quality. 2011b.

LIMA, C. R. A. et al.. Reviso das dimenses de qualidade dos dados e mtodos aplicados naavaliao dos sistemas de informao em sade. Cadernos de Sade Pblica, n. 25, v. 10, p.

2095-2109, 2009.MORAES, I. H. S. Informaes em sade:da prtica fragmentada ao exerccio da cidadania.So Paulo: Hucitec, 1994.

MORAES, I. H. S. Sala de Situao em Sade: contribuio ampliao da capacidadegestora do Estado? In: OPAS. Sala de Situao em Sade: compartilhando as experinciasdo Brasil. Braslia:Organizao Pan-Americana da Sade:Ministrio da Sade, 2010.

MOTA, F. R. L. Registro de informao no sistema de informao em sade: um estudodas bases SINASC, SIAB e SIM no estado de Alagoas. 2009. 265f. Tese (Doutorado emCincia da Informao) Escola da Cincia da Informao, Universidade Federal de Minas

Gerais, Belo Horizonte, 2009.

8/11/2019 2013_EnANPAD_ADI221

16/16

16

OTIENO, G. O. et al.. Measuring effectiveness of electronic medical records systems:Towards building a composite index for benchmarking hospitals. International Journal ofMedical Informatics. v. 77, p. 657-669, 2008.

PAI, F-Y.; HUANG, K-I. Applying the Technology Acceptance Model to the introduction ofhealthcare information systems. Technological Forecasting & Social Change,v. 78, p.650660, 2011.

PRESSMAN, R. S. SoftwareEngineering: a Practitioners Approach. New York:McGraw-Hill, 2010.

RIBIRE, V. et al.. Hospital Information Systems Quality: A Customer SatisfactionAssessment Tool.In: Proceedings of the 32nd Hawaii International Conference on SystemSciences. Havaii, 32., 1999, Anais, Havaii, IEEE, 1999.

SOUZA, R. C.; FREIRE, S. M.; ALMEIDA, R. T. Sistema de informao para integrar osdados da assistncia oncolgica ambulatorial do Sistema nico de Sade. Cadernos deSade Pblica,n. 26, v. 6, p.1131-1140, 2010.

THAINES, G. H. L. S. et al.. Produo, fluxo e anlise de dados do sistema de informao emsade: um caso exemplar. Texto & Contexto Enfermagem. v. 18, n. 3, p. 466-474, 2009.

VIDOR, A. C.; FISHER, P. D.; BORDIN , R. Utilizao dos sistemas de informao emsade em municpios gachos de pequeno porte. Revista de Sade Pblica,n. 45, p.24-30,2011.

VIEIRA, F. S. Avanos e desafios do planejamento no Sistema nico de Sade. Cincia &Sade Coletiva,n. 14, p. 1565-1577, 2009.

VIITANEN, J. et al.. National questionnaire study on clinical ICT systems proofs: Physicianssuffer from poor usability. International Journal of Medical Informatics,v. 80, p. 708725, 2011.

Documents

2013_EnANPAD_ADI221