Embed Size (px)
Citation preview
Universidade de Brasília
Faculdade de Economia, Administração, Contabilidade e Gestão de Políticas
Públicas
Departamento de Administração
RICARDO DOUGLAS BAIA LIRA
GESTÃO DE DOCUMENTOS NO SERVIÇO DE INATIVOS
E PENSIONISTAS DO EXÉRCITO: AVALIAÇÃO DA
QUALIDADE DO SOFTWARE SIGA-SIPWEB SOB
A PERCEPÇÃO DO USUÁRIO
Brasília – DF
2019
RICARDO DOUGLAS BAIA LIRA
GESTÃO DE DOCUMENTOS NO SERVIÇO DE INATIVOS
E PENSIONISTAS DO EXÉRCITO: AVALIAÇÃO DA
QUALIDADE DO SOFTWARE SIGA-SIPWEB SOB
A PERCEPÇÃO DO USUÁRIO
Monografia apresentada ao Departamento de
Administração como requisito parcial à
obtenção do título de Especialista em
Administração.
Professor Orientador: Dr. Aldery Silveira Júnior
Brasília – DF
2019
RICARDO DOUGLAS BAIA LIRA
GESTÃO DE DOCUMENTOS NO SERVIÇO DE INATIVOS
E PENSIONISTAS DO EXÉRCITO: AVALIAÇÃO DA
QUALIDADE DO SOFTWARE SIGA-SIPWEB SOB
A PERCEPÇÃO DO USUÁRIO
A Comissão Examinadora, abaixo identificada, aprova o Trabalho de Conclusão do
MBA em Gestão de Projetos da Universidade de Brasília do aluno
Ricardo Douglas Baia Lira
Dr. Aldery Silveira Júnior Professor-Orientador
Me. Saul Rodrigues Duarte Dr. Evaldo César Cavalcante Rodrigues Professor- examinador Professor-Examinador
Brasília, 05 de setembro de 2019
Expresso o meu agradecimento a todos os familiares, amigos e colegas que, direta ou indiretamente, me apoiaram na elaboração deste trabalho
AGRADECIMENTOS
À Deus por ter me concedido o dom da vida; Aos meus pais por todo esforço, apoio e incentivo proporcionado em todas as etapas da minha vida e por me direcionar a minha tão sonhada carreira de militar do Exército Brasileiro; e Ao Professor Dr. Aldery Silveira Júnior pela orientação constante e ilimitada, tanto na fase da pesquisa quanto na elaboração deste Trabalho de Conclusão de Curso, ensejando-me, ao longo desta especialização, os conhecimentos teóricos e práticos necessários.
“O sistema de software deve fazer o que é suposto que se faça. Em outras palavras, eles devem fazer certo as coisas". (TIAN, 2005, p. 35)
RESUMO
Este trabalho avalia a qualidade do software SIGA-SIPWEB como ferramenta de
tramitação eletrônica de processos e documentos no Serviço de Inativos e
Pensionistas do Exército Brasileiro (SvIPEx). Foram avaliados requisitos de
qualidade inerentes a gestão documental do setor e teve como base o modelo de
Sistemas Informatizados de Gestão Arquivísticas de Documentos do e-ARQ Brasil. e
seguindo os padrões de qualidade estabelecidos pelas Normas Técnicas da
International Organization for Standardization (ISO). O levantamento dos dados foi
realizado inicialmente por um brainstorming, e posteriormente para validar as
informações foi feito um grupo focal, com especialistas que trabalham no
desenvolvimento e no aperfeiçoamento do software, para definição dos critérios e
construção do questionário. A avaliação foi aplicada em duas das doze Regiões
Militares (RM) que integram o SvIPEx. A análise dos dados foi realizada através da
Metodologia Multicritério de Apoio à Decisão (MDCA), que permite avaliar os dados
qualitativos e transformá-los em quantitativos, fornecendo resultados que auxiliam os
gestores na tomada de decisão. Como resultado, verificou-se que o critério
Suportabilidade Funcional obteve a melhor pontuação e quanto ao critério
Confiabilidade, a avaliação obteve a pior pontuação percebida pelos usuários.
Conclui-se que os usuários, de uma forma geral, avaliaram satisfatoriamente o
software em relação aos requisitos avaliados, caracterizando o SIGA-SIPWEB como
adequado ao que se propõe
Palavras-chave: Projetos; Gestão documental; Gestão eletrônica de documentos;
Gestão arquivística de documentos, Qualidade de software; Metodologia multicritério
de apoio à decisão (MCDA).
LISTA DE ILUSTRAÇÕES
Figura 1 – Portfólio Estratégico do Exército .......................................................... 3
Figura 2 – Contexto de Iniciação de Projeto ......................................................... 9
Figura 3 – Gerenciamento da Qualidade do Projeto segundo o PMBOK ........... 21
Figura 4 – As fases da MDCA ............................................................................. 25
Figura 5 – Organograma do Departamento-Geral do Pessoal ........................... 28
Figura 6 – Organograma do Portfólio de Projetos do DGP ................................. 29
Figura 7 – Integração do Software SIGA-SIPWEB ............................................. 30
Figura 8 – Funções de valor do PVE 4.1 – Confidencialidade ............................ 40
Figura 9 – Estrutura Arborescente do Modelo Multicritério com a indicação
das taxas de substituição ................................................................. 42
Figura 10 – Participação ponderada dos PVEs no PVF1 ................................... 49
Figura 11 – Contribuição de cada PVE na avaliação do PVF1 ........................... 50
Figura 12 – Participação ponderada dos PVEs no PVF 2 .................................. 51
Figura 13 – Contribuição de cada PVE na avaliação do PVF 2 .......................... 51
Figura 14 – Participação ponderada dos PVEs no PVF 3 .................................. 53
Figura 15 – Contribuição de cada PVE na avaliação do PVF 3 .......................... 53
Figura 16 – Participação ponderada dos PVEs no PVF 4 .................................. 55
Figura 17 – Contribuição de cada PVE na avaliação do PVF 4 .......................... 55
Figura 18 – Participação ponderada dos PVEs no PVF 5 .................................. 57
Figura 19 – Contribuição de cada PVE na avaliação do PVF 5 .......................... 57
Figura 20 – Compilação dos dados brutos da pesquisa de cada respondente
em relação aos PVFs ....................................................................... 59
Figura 21 – Compilação dos dados ponderados, de acordo com os pesos de
cada PVF ......................................................................................... 59
Figura 22 – Avaliação de cada respondente em relação aos PVFs ................... 60
Figura 23 – Contribuição de cada PVF nas avaliações individuais dos
respondentes ................................................................................... 60
Figura 24 – Comtribuição de cada critério de avaliação (PVEs) nas avaliações
individuais dos respondentes ........................................................... 60
Figura 25 – Avaliação de cada respondente em relação ao PVF 1. ................... 62
Figura 26 – Avaliação de cada respondente em relação ao PVF 2 .................... 63
Figura 27 – Avaliação de cada respondente em relação ao PVF 3. ................... 63
Figura 28 – Avaliação de cada respondente em relação ao PVF 4 .................... 64
Figura 29 – Avaliação de cada respondente em relação ao PVF 5 .................... 65
Figura 30 – Posição das ações potenciais na linha de corte de 19% do PVF1 .. 66
Figura 31 – Posição frente a um incremento de 10% na taxa de substituição
do PVF 1. ......................................................................................... 67
Figura 32 – Posição frente a um decréscimo de 10% na taxa de substituição
do PVF ............................................................................................. 67
LISTA DE QUADROS
Quadro 1 – OEE 13 do PEEx 2016-2019 .................................................................... 4
Quadro 2 – Normas ABNT - NBR - Avaliação da qualidade de produto de software 18
Quadro 3 – Níveis de impacto dos descritores .......................................................... 36
Quadro 4 – Descrição dos elementos de avaliação .................................................. 37
Quadro 5 – Síntese das avaliações dos critérios e da avaliação global .................... 61
LISTA DE ABREVIATURAS E SIGLAS
CDS – Centro de Desenvolvimento de Sistemas
CTDE – Câmara Técnica de Documentos Eletrônicos
CONARQ – Conselho Nacional de Arquivos
DCIPAS – Diretoria de Civis, Inativos, Pensionistas e Assistência Social
EB – Exército Brasileiro
EPAs – Elementos Primários de Avaliação
EPEx – Escritório de Projetos do Exército
MCDA – Multicritério de Apoio à Decisão
NEGAPEB – Normas para Elaboração, Gerenciamento e Acompanhamento de
Projetos no Exército Brasileiro
NUP – Número Único de Processo
ODS – Órgão de Direção Setorial
OEE – Objetivo Estratégico do Exército
PEN – Processo Eletrônico Nacional
Ptf EE – Portfólio Estratégico do Exército
PIPEx – Projeto Inativos e Pensionistas do Exército
PVEs – Pontos de Vista Elementares
PVFs – Pontos de Vista Fundamentais
RM – Região Militar
SIGA – Sistema Integrado de Assistência Arquivística
SIGAD – Sistema Informatizado de Gestão Arquivística de Documentos
SIGA-SIPWEB – Sistema de Gestão Eletrônica de Documentos do Serviço de
Inativos e Pensionistas do Exército
SvIPEx – Serviço de Inativos e Pensionistas do Exército
SIP – Seção de Inativos e Pensionistas do Exército
SSIP – Seção do Serviço de Inativos e Pensionistas
SEI – Sistema Eletrônico de Informações
TIC – Tecnologias da Informação e Comunicações
UnB – Universidade de Brasília
SUMÁRIO
1 INTRODUÇÃO ......................................................................................................... 1
1.1 Formulação do problema .................................................................................. 4 1.2 Objetivo Geral .................................................................................................... 5 1.3 Objetivos Específicos ........................................................................................ 5 1.4 Justificativa ........................................................................................................ 6
2. REVISÃO TEÓRICA ................................................................................................ 8
2.1 Projetos ............................................................................................................. 8 2.2. Gestão Documental .......................................................................................... 9
2.2.1 Gestão Eletrônica de Documentos ........................................................... 12 2.2.2 Gestão Arquivística de Documentos ........................................................ 14
2.3 Lei de Acesso à Informação ............................................................................ 15 2.4 Qualidade de Software .................................................................................... 16 2.5 Metodologia multicritério de apoio à decisão(MCDA) ..................................... 24
3. MÉTODOS E TÉCNICAS DE PESQUISA ............................................................. 25
3.1 Tipologia e descrição geral dos métodos de pesquisa .................................... 26 3.2. Caracterização da Organização estudada ...................................................... 27 3.3. Construção do modelo de avaliação ............................................................... 30
3.3.1 Definição do rótulo do problema .............................................................. 31 3.3.2 Identificação dos atores ............................................................................ 31 3.3.3 Identificação dos elementos de avaliação ................................................ 32 3.3.4 Construção dos Descritores ..................................................................... 35 3.3.5 Construção das funções de valor ............................................................. 38 3.3.6 Determinação das taxas de substituição .................................................. 40 3.3.7. Construção da árvore de valor ................................................................. 40
3.4 Procedimentos para o cálculo das avaliações ................................................ 43 3.4.1 Cálculo das avaliações dos critérios ........................................................ 43 3.4.2 Cálculo da avaliação global ...................................................................... 44
3.5 Análise de sensibilidade .................................................................................. 45 3.6 Procedimento de coleta dos dados ................................................................. 46
4. ANÁLISE DOS DADOS DA PESQUISA DE CAMPO ........................................... 48
4.1 Análise do PVF 1 – Suportabilidade funcional ................................................ 48 4.2 Análise do PVF 2 – Eficiência do desempenho .............................................. 50 4.3 Análise do PVF 3 – Confiabilidade .................................................................. 52 4.4 Análise do PVF 4 – Segurança ....................................................................... 54 4.5 Análise do PVF 5 – Usabilidade ...................................................................... 56 4.6 Análise da avaliação global ............................................................................. 58 4.7 Aplicação da análise de sensibilidade ............................................................ 65
5. CONCLUSÕES E RECOMENDAÇÕES ................................................................ 69
5.1 Limitações do Trabalho ................................................................................... 71 5.2 Recomendações para Futuros Trabalhos ....................................................... 72
REFERÊNCIAS ......................................................................................................... 73
APÊNDICE ................................................................................................................ 77
Questionário .............................................................................................................. 77
Anexo A – Matrizes de Julgamento Semânticas ....................................................... 82
Anexo B – Gráficos da análise de sensibilidade ........................................................ 87
1 INTRODUÇÃO
A Gestão arquivística de documentos se estabeleceu na segunda metade do século
XX com o propósito de racionalizar a produção documental, preservar acervos de
valor histórico, facilitar o acesso aos documentos e com finalidade de regular sua
destinação final.
No final do século XX iniciou-se a difusão dos documentos em formato digital e
começaram a aparecer novos desafios quanto às formas que garantissem a
autenticidade de documentos a partir da observância de princípios arquivísticos. Foi
nessa época que a comunidade arquivística internacional despertou para a
importância da gestão eletrônica de documentos, época em que o mundo começou
a perceber que os documentos digitais são ainda mais de pendentes da gestão
arquivística de documentos do que os documentos não digitais.
Como mencionado na Declaração Universal sobre arquivos, do Conselho
Internacional de Arquivos: “Documentos de arquivos são geridos desde a criação
para preservar seu valor e significado e são fontes confiáveis de informação para
ações administrativas responsáveis e transparentes”
Nas últimas décadas, o uso da Tecnologia da Informação e Comunicações (TIC)
disponibilizou e popularizou diversas ferramentas e aplicativos acessados
remotamente, promovendo mudanças significativas no comportando social,
econômico e cultural da sociedade.
No entanto, as organizações de trabalho demostram um nível de resistência em
adequar os seus processos de trabalho às soluções de TICs disponíveis no mercado,
incluindo as soluções disponíveis como softwares livres. Também se percebe uma
insegurança na modificação dos processos de trabalho já dominadas por soluções
de TIC que resultem custos adicionais, tanto em compras de equipamentos e
serviços, quanto em treinamentos da força de trabalho.
É imprescindível para as instituições públicas e privadas que fizerem opção pelo
tratamento, registro, tramitação, recebimento e guarda de documentos digitais a
adoção de uma política e de um programa de gestão arquivística de documentos,
caso contrário, poderá incorrer sério risco de perder a confiabilidade e autenticidade
do seu acervo documental.
Nos últimos anos, o governo brasileiro alinhado com iniciativas internacionais, através
do Conselho Nacional de Arquivos (CONARQ), publicou várias resoluções que
trazem orientações acerca da gestão e da preservação dos documentos arquivísticos
digitais.
O Exército Brasileiro (EB), em consonância com as normativas legais, no ano de
2011, publicou as diretrizes para implantação do Projeto de Inativos e Pensionistas
do Exército (PIPEx), envolvendo, inicialmente, a Diretoria de Civis, Inativos,
Pensionistas e Assistência Social (DCIPAS), onde foram definidos os responsáveis
pelo projeto, assim como o seu objetivo.
O Portfólio Estratégico do Exército (Ptf EE), implantado no ano de 2017, contemplou
três grandes subportfólios: Defesa da Sociedade, Geração de Força e Dimensão
Humana. Os subportfólios são formados por Programas Estratégicos e esses, por
sua vez, dão origem aos Projetos Estratégicos do Exército. Consta da Figura 1 o
Portfólio Estratégico do Exército.
Cada um dos Programas integrantes do Portfólio Estratégico do Exército (Ptf EE)
contribui para que sejam atingidos um ou mais Objetivos Estratégicos, assim
permitindo ao EB cumprir com suas missões Constitucionais e demais diretrizes
infraconstitucionais.
O processo de transformação em andamento no EB tem como um dos seus principais
objetivos o fortalecimento da Dimensão Humana da Força, entendida como o
conjunto de todos os fatores administrados pela Instituição que influenciam o
profissional militar e o servidor civil, do ambiente de trabalho aos seus familiares. O
fortalecimento da Dimensão Humana compreende ações objetivando motivar
recursos humanos capazes de aumentar a capacidade da Força Terrestre para
alcançar suas metas e cumprir suas missões.
Figura 1 - Portfólio Estratégico do Exército
Fonte: Palestra do EPEx - 20191
O processo de transformação também tem como foco a busca da melhoria da
qualidade de vida da Família Militar, público esse que abarca os inativos e
pensionistas. O EB idealizou, para alcançar esses objetivos, o Programa Estratégico
“Força da Nossa Força”, que está em consonância com o Objetivo Estratégico do
Exército nº 13 (OEE 13) – Fortalecer a Dimensão Humana – e que tem como um
dos seus objetivos a modernização da gestão de Pessoal.
O “ Programa Força da Nossa Força” contempla o Subprograma Apoio ao Pessoal,
esse com a finalidade de promover iniciativas que contribuam para melhoria da
qualidade de vida da família militar. São dois os projetos que integram esse
subprograma: o Projeto Assistência Social e o Projeto Inativos e Pensionistas do
Exército (PIPEx).
O Plano Estratégico do Exército (PEEx) 2016-2019, prevê no OEE 13, Quadro 1
abaixo, o prosseguimento da implantação do projeto PIPEx.
1 Endereço: file:///E:/##%20Apoio%20TCC/EPEX_-Palestra_Pt2.pdf
Quadro 1 - OEE 13 do PEEx 2016-2019
Fonte: Plano Estratégico do Exército, adaptado pelo autor.
O projeto PIPEx, com vistas na melhoria da gestão administrativa e documental dos
processos do Serviço de Inativos e Pensionistas do Exército (SvIPEx), definiu na sua
diretriz de implantação o desenvolvimento de um programa piloto para realizar a
automação de gestão documental e, assim contribuir para melhoria da gestão do
pessoal do EB.
A preocupação do EB em vencer o desafio da preservação dos documentos
arquivísticos digitais do Serviço de Inativos e Pensionistas se justifica porque as
tecnologias de informação em uso na área de inativos e pensionistas estão defasadas
e necessitam de atualização.
1.1 Formulação do problema
A transformação digital é fundamental no processo de gestão documental das
organizações, uma vez que engloba diversos aspectos, tais como prestação de
serviços digitais em plataforma única, autosserviço, amplo acesso a bases de dados
e integração dessas bases, integração de serviços, economicidade, transparência,
agilidade e simplificação de serviços públicos. Nesse contexto, a produção de
documentos digitais levou a necessidade do Exército Brasileiro (EB), por meio do
Projeto de Inativos e Pensionistas (PIPEx), a desenvolver um sistema informatizado
de gerenciamento de documentos para o Serviço de Inativos e Pensionistas do
Exército (SvIPEx).
Entender como esse software desenvolvido pode contribuir para a melhoria e
celeridade dos processos e serviços relacionados com o público de inativos e
pensionistas do Exército torna-se fundamental para o desenvolvimento de novas
metodologias de trabalho.
Visando obter respostas acerca das análises desse tipo de gestão, busca-se no
presente trabalho responder a seguinte pergunta: Como a qualidade do sistema
eletrônico de informações – SIGA-SIPWEB é percebida pelos usuários?
1.2 Objetivo Geral
O objetivo geral da pesquisa é avaliar a qualidade do Sistema de Gestão Eletrônica
de Documentos do Serviço de Inativos e Pensionistas do Exército (SIGA-SIPWEB),
sob a percepção dos usuários finais.
1.3 Objetivos Específicos
• Levantar o referencial teórico acerca do tema;
• Construir um modelo multicritério de avaliação da qualidade do software
SIGA-SIPWEB, com apoio de uma equipe de decisores;
• Aferir o grau de satisfação dos colaboradores em relação a utilização do
software SIGA-SIPWEB no Serviço de Inativos e Pensionistas do Exército –
(SvIPEx);
• Aplicar o modelo multicritério na tabulação dos dados coletados;
• Analisar os resultados alcançados à luz dos parâmetros definidos pelos
decisores; e
• Propor pontos de melhorias, caso seja necessário, no software SIGA-
SIPWEB.
1.4 Justificativa
O papel dos sistemas de TIC no processo de produção da informação é o de receber,
processar e disseminar informações importantes para a gerência e controle das
atividades de uma organização. Entre as principais finalidades de um sistema de
tramitação eletrônica de informações está a de auxiliar seus usuários nas atividades,
nos processos e nas tramitações segura de documentos.
A evolução da tecnologia impactou significativamente esses sistemas, pois os
mesmos passaram a ser desenvolvidos com princípios computacionais robustos e
complexos. Em decorrência desse impacto, as organizações passaram a dar mais
importância à totalidade das características incorporadas com a finalidade de torná-
los capazes de satisfazerem todas às necessidades identificadas ou implícitas.
Nesse contexto, e com a finalidade de buscar uma estrutura física, de processos e
de TICs para o gerenciamento das atividades do SvIPEx compatíveis com a sua
dimensão, complexidade e velocidade de resposta adequada, o Comandante do EB,
por meio da Portaria nº 544, de 29 de agosto de 2011, exarou as Diretrizes para a
implantação do projeto piloto Inativos e Pensionistas do Exército (PIPEx).
Foram definidos os seguintes objetivos para o projeto PIPEx: definir e padronizar os
processos correntes dos Inativos e Pensionistas; levantar e caracterizar os requisitos
das partes interessadas, particularmente o público a ser atendido e a implantação de
um sistema eletrônico de documentos, voltados para questões de melhoria da gestão
administrativa e das questões informacionais e tecnológicas.
O novo Sistema de tramitação de documentos, objeto do projeto PIPEx, por
caracterizar uma ferramenta de TIC, promoverá a gestão dos processos físicos e
digitais e, ainda, fomenta novos desafios para os gestores do EB, referentes à gestão
arquivística de documentos. Dentre os novos desafios, destacam-se: identificar os
documentos arquivísticos no ambiente digital; gerenciar os documentos digitais em
processos; e lidar com as especificidades próprias dos documentos digitais no que
tange a sua vulnerabilidade à intervenção humana, a obsolescência tecnológica e a
degradação de seu suporte.
Nesse contexto, torna-se cada vez mais importante para os gestores do SvIPEx, na
gestão de documentos arquivísticos digitais, que façam uso de um software que
abarque requisitos capaz de assegurar qualidade, confiabilidade, autenticidade e
segurança aos documentos produzidos e recebidos, durante todo seu ciclo de vida.
A utilização de um sistema de gestão eletrônica de documentos é de suma
importância para melhoria, segurança e celeridade dos processos de gestão
documental das Organizações Militares (OM)que compõem o SvIPEx. Para tornar
esse sistema eficiente, é importante que haja uma avaliação, sob a perspectiva dos
usuários, com a finalidade de verificar se as especificidades desejadas para melhoria
do serviço dos usuários estão sendo realmente atingidas.
A relevante implantação do software SIGA-SIPWEB, no sistema de gestão eletrônica
de documentos do SvIPEx, contribuirá significativamente para a melhoria da
qualidade dos serviços, com impacto positivo no grau de satisfação dos seus
usuários. Portanto, pelo fato de tratar-se de um sistema pioneiro no SvIPEx, cresce
de importância a avaliação do software SIGA-WEB, sob à ótica dos usuários.
Ressalta-se que, o presente trabalho trata-se de uma primeira avaliação realizada em
um universo de operadores usuários do SIGA-SIPWEB, que passaram a utilizar esta
ferramenta de tramitação eletrônica de documentos em substituição a forma manual
de tramitação física dos documentos e processos do SvIPEx, mudança que exigirá a
quebra de paradigmas por parte dos operadores usuários do software SIGA-SIPWEB.
Diante desta realidade, cresce a importância da pesquisa na literatura especializada
com propósito de identificar requisitos de qualidade que garantam a confiabilidade e
a segurança na tramitação de documentos eletrônicos.
Esse estudo também visa a contribuir para os estudos futuros acerca da implantação
e desenvolvimento de programas de gestão mais eficientes, assim como aumentar a
facilidade de manuseio dos sistemas e aprimorar métodos de gestão da informação.
Os resultados apresentados nesse trabalho poderão servir como base instrutiva para
o Exército Brasileiro, ou outro órgão da Administração Pública Federal, como fonte
de pesquisa para avaliação de requisitos de qualidade na gestão eletrônica de
documentos.
2 REVISÃO TEÓRICA
A fim de embasar as análises que serão feitas a partir dos resultados da pesquisa de
campo, este capítulo abordará os seguintes tópicos: projetos; gestão documental,
com enfoque tanto na gestão eletrônica de documentos, quanto na gestão
arquivística de documentos; acesso à Informações; qualidade de software; e
Metodologia Multicritério de Apoio à Decisão.
2.1 Projetos
O Guia PMBOK® (2017) define projeto como um esforço temporário realizado para
criar um produto, serviço ou resultado único, ainda, de acordo com esse Guia de boas
práticas, os projetos são executados com o propósito de alcançar objetivos por meio
de entregas. Por sua vez, segundo as Normas para elaboração, gerenciamento e
acompanhamento de projetos no Exército Brasileiro (NEGAPEB), gerenciar projetos
significa:
“identificar os requisitos, adaptar-se às diferentes necessidades, preocupações e expectativas das partes interessadas e o balanceamento das
restrições conflitantes que incluem o escopo, a qualidade, o cronograma, o
orçamento, os recursos e o risco.” NEGAPEB (p.15 2013).
Segundo o PMBOK® (2017), os líderes de uma organização iniciam projetos em
resposta aos seguintes fatores que elucidam o contexto de um projeto, conforme
ilustrado na Figura 2. Fatores esses que apresentam uma forte relação com os
objetivos propostos neste trabalho.
• Cumprir requisitos regulatórios, legais ou sociais;
• Atender a pedidos ou necessidades das partes interessadas;
• Implementar ou alterar estratégias de negócio ou tecnológicas; e
• Criar, melhorar ou corrigir produtos, processos ou serviços.
Segundo o PMBOK® (2017), as tendências em gerenciamento da qualidade do
projeto incluem, mas não estão limitadas a:
• Satisfação do cliente (Entender, avaliar, definir e gerenciar os requisitos
para que as expectativas do cliente sejam atendidas);
• Melhoria contínua (O ciclo planejar-fazer-verificar-agir (PDCA), base para a
melhoria da qualidade);
• Responsabilidade da gerência (O sucesso exige a participação de todos os
membros da equipe do projeto); e
• Parceria mutuamente benéfica com fornecedores (A organização deve
preferir relacionamentos de longo prazo em lugar de ganhos de curto
prazo).
Figura 2 Contexto de Iniciação de Projeto
Fonte: Guia PMBOK (2017).
2.2 Gestão Documental
Conforme Viana e Tavares (2014), a gestão documental não é algo fácil de ser feito,
entretanto seus resultados trazem vantagens como o espaço menor a ser utilizados,
a durabilidade e o preço.
Segundo Indolfo (2007), o uso de normas e padrões de gerenciamento documental
em órgãos da Administração Pública Federal requer serviços arquivísticos bem
equipados e estruturados e, providos de uma força de trabalho instruída para
desenvolver e executar com correção suas tarefas. Ainda segundo o autor, a falta de
processamento técnico, a guarda de documentos inadequada e a insuficiência de
recursos tecnológicos precisam ser solucionados de forma que as dificuldades de
acesso às informações públicas sejam sanadas.
Segundo o Dicionário brasileiro de terminologia arquivística, Nacional (2005), gestão
de documentos é o conjunto de procedimentos e operações técnicas referentes à
produção, tramitação, uso, avaliação e arquivamento de documentos em fase
corrente e intermediária, visando sua eliminação ou recolhimento (CONARQ, 2005).
De acordo com Indolfo (2007), não se pode falar de gestão de documentos como um
conceito singular e de uso universal, uma vez que de sua elaboração e
desenvolvimento participaram fatores decisivos, em que se destaca uma dada e
específica tradição arquivística, e também administrativa, e um contexto histórico e
institucional.
Conforme Viana e Tavares (2014), a organização e a informatização indicam
caminhos para controlar e monitorar o armazenamento e a utilização dos documentos
de uma empresa.
Os riscos advindos da adoção de novas tecnologias na preservação de arquivos
precisam ser constantemente mitigados com a utilização de soluções tecnológicas de
ampla aceitação por organismos oficiais, em âmbito nacional e internacional e que
sejam sujeitos à avaliação com base em estatística de uso.
O texto aprovado2 na “International council on archives” (2010) que registra decisões,
ações e memórias, definiu arquivos como sendo um patrimônio único e transmitido,
de uma geração a outra.
A propósito, o ordenamento jurídico brasileiro é inequívoco sobre o dever do Poder
público em promover a gestão e a proteção da documentação governamental, como
2 Aprovada na assembleia geral do Conselho Internacional de Arquivos realizada em 17 de setembro
de 2010, durante a 42ª CITRA, em Oslo. Tradução para o português acordada entre o Arquivo
Nacional (Brasil) e o Arquivo Nacional da Torre do Tombo (Portugal).
instrumento de apoio à administração e como elementos de prova e de informações,
nesse contexto, os gestores públicos têm o dever de buscar novas tecnologias para
preservar seus arquivos.
Cooroborando com a assertiva acima, segundo Jean Hartley (2005), quão extensa
uma mudança tem que ser aplicada, a fim de ser classificada como inovação (em vez
de melhoria contínua)? Ainda, segundo o autor, grande parte da teoria da inovação e
da literatura tem derivado do desenvolvimento de novos produtos, onde uma inovação
em tecnologia pode ser observada e amplamente aceita, mesmo que suas
implicações ou seu impacto não sejam inicialmente conhecidos.
A implantação de uma política de gestão documental por parte dos governos federais
é de suma importância e deve ser implementada em consonância com as regras da
arquivista, pois o dano em acervos documentais, que são bens culturais e patrimônio
histórico, é irreparável. Com a tecnologia da informação muitas organizações estão
realizando a digitalização dos seus documentos sem seguir regras de segurança e
preservação.
De acordo com o publicado na Carta para a preservação do patrimônio digital
arquivístico da Unesco (2005), tecnologia documental é um meio instável de
armazenamento comparado com o arquivo convencional, portando carece de
atenção a gestão dos documentos digitais sob pena de desaparecimento e de perda
da sua confiabilidade, devendo ser uma preocupação urgente no mundo inteiro,
dessa forma, a Unesco manifesta a importância dos Estados-membros, incluindo o
Brasil, adotar políticas e ações para resguarda o patrimônio dos documentos digitais.
Mais tarde, a Lei nº 8.159, de 8 de janeiro de 1991, que dispõe sobre a política
nacional de arquivos públicos e privados, preconiza a revitalização dos serviços
arquivísticos do Poder Público por meio de programas de gestão de documentos, que
reúnam procedimentos e operações técnicas referentes à produção, tramitação, uso,
avaliação e arquivamento de documentos (BRASIL,1991).
Segundo Indolfo (2007), o processo decisório governamental não pode continuar
“esbarrando” na falta de controle na produção e no fluxo dos ciclos informacionais. A
falta de processamento técnico, a deficiência de recursos tecnológicos e o
armazenamento impróprio precisam ser equacionados para que as dificuldades de
acesso às informações públicas sejam sanadas.
2.2.1 Gestão Eletrônica de Documentos
Segundo Giandon et al. (2002), a implantação de sistemas de informações, como o
de Gerenciamento Eletrônico de Documentos (GED), impacta consideravelmente na
forma de realização do trabalho dentro de uma organização. Isso acontece não
apenas pelo fato que o usuário passa a trabalhar com um novo sistema, entretanto
faz com que se descubram alternativas para melhoria dos processos.
Assim, a ferramenta de GED vem se tornando uma opção para as organizações
reduzirem o acúmulo de informações físicas, organizando e recuperando-as com
mais eficiência e segurança.
O Conselho Nacional de Arquivos (CONARQ) firmou o seguinte conceito para GED:
[…] é o conjunto de tecnologias utilizadas para organização da informação
não estruturada de um órgão ou entidade, que pode ser dividido nas
seguintes funcionalidades: captura, gerenciamento, armazenamento e
distribuição. Entende-se por informação não estruturada aquela que não
está armazenada em banco de dados, como mensagens de correio
eletrônico, arquivo de texto, imagem ou som, planilha etc. (E-ARQ BRASIL,
2011, p. 10).
Segundo Amorim eTomaél (2011), para gerenciar todas as informações disponíveis
no ambiente interno e externo à organização, surgem as tecnologias da informação
como resposta positiva para melhor estruturação e disponibilização de forma mais
ágil. Os benefícios na utilização de um GED podem variar em cenários diferentes: as
instituições públicas visam o uso para garantir agilidade em suas funções, assim
como para atender normativos legais, já as instituições particulares tendem a garantir
sua sobrevivência utilizando o sistema como um diferencial competitivo e
mercadológico. Porém, em todos os casos, os benefícios da implantação de um
sistema de GED são visíveis.
Carvalho et al. (1993) ressaltam que as peculiaridades do meio digital impõem uma
série de normas de cadastramento da informação até então desnecessárias.
Segundo Santos (2012), no mundo digital o documento tende a não apresentar
fixidez, dessa forma é necessário agir no sentido de garantir que os documentos
arquivísticos institucionais apresentem esta característica. A respeito dos desafios da
preservação digital, há pelo menos duas décadas, organismos internacionais vêm
alertando sobre os riscos decorrentes da fragilidade das mídias.
No Brasil, o Governo Federal por meio do Decreto nº 8.539, de 08 de outubro de
2015, tornou obrigatória a tramitação eletrônica de documentos nos órgãos e
entidades da administração pública federal direta, autarquia e fundacional (BRASIL,
2015).
Conforme Lima e Flores (2016), o Decreto nº 8.539 especificou que os órgãos
deverão estabelecer políticas e ações que garantam a preservação em longo prazo
dos documentos, bem como o acesso e o uso contínuo dos documentos digitais,
prevendo, no mínimo, a proteção contra a deterioração e a obsolescência de
equipamentos e programas, além de mecanismos para garantir a autenticidade, a
integridade e a legibilidade desses documentos eletrônicos ou digitais.
A preocupação com a guarda dos arquivos digitais se justifica porque, tanto no mundo
físico como no ambiente digital, o documento digital apresenta características que
podem comprometer sua autenticidade. Conforme Lima e Flores (2016, p. 10):
o documento digital apresenta características que podem comprometer sua
autenticidade, uma vez que é suscetível à degradação física dos seus suportes, à obsolescência tecnológica de hardware, software e de formatos,
e a intervenções não autorizadas, que podem ocasionar adulteração e
destruição.
Como vimos, a gestão arquivística de documentos é de suma importância para
preservação de documentos digitais, devendo os softwares desenvolvido para
tramitação de documentos digitais incorporarem requisitos funcionais de segurança
que assegurem a sua autenticidade e confiabilidade.
Somente com procedimentos de gestão arquivística, é possível assegurar a
autenticidade dos documentos arquivísticos digitais. Conforme Arellano e Araújo
(2017), a informação institucionalizada, orgânica no caso dos documentos
arquivísticos, mantida em sistemas de arquivos só é fidedigna e autêntica se
estruturada em ambientes seguros.
2.2.2 Gestão Arquivística de Documentos
Segundo o Conselho Nacional de Arquivos; Câmara Técnica de Documentos
Eletrônicos (2015), os documentos arquivísticos digitais, tanto na sua fase corrente
como na intermediária devem, de preferência, ser gerenciados por meio de um
Sistema Informatizado de Gestão Arquivística de Documentos – SIGAD, com a
finalidade de garantia do controle do ciclo de vida, do cumprimento do destino e da
manutenção da autenticidade e da relação orgânica3 características fundamentais
desses documentos.
É Recomendável ao arquivista que realize uma pesquisa em legislação federal,
estadual e municipal sobre arquivística, contabilidade e direito entre outras, e em
normas internacionais (ISO, CIA, por exemplo) e normas nacionais (Conselho
Nacional de Arquivos – (CONARQ) Cornelsen e Nelli (2006).
O CONARQ publicou a Coletânea da Legislação Arquivística Brasileira e correlata,
atualizada em dezembro de 2017. Faz parte da Coletânea, leis, decretos, medidas
provisórias e resoluções que tem alguma ligação direta com arquivos e arquivologia.
Outra publicação do CONARQ, o Dicionário Brasileiro de Terminologia Arquivística
(DIBRATE), um instrumento valioso e de fundamental importância para a
normalização conceitual das atividades inerentes ao fazer arquivístico.
Segundo o CONARQ (2012), documentos digitais são aqueles codificados em dígitos
binários, somente acessíveis e interpretáveis por meio de recursos computacionais.
Eles são considerados como arquivísticos quando são produzidos ou recebidos pelo
3 Quando os documentos arquivísticos são produzidos e mantidos dentro de um sistema informatizado
(p. ex. sistemas de controle acadêmico em instituições de ensino, sistemas de prontuários médicos,
sistemas de controle de ponto), esse sistema deve incorporar as funcionalidades básicas de um SIGAD
previstas no e-ARQ Brasil, para assegurar tais objetivos.
órgão ou entidade no decorrer de suas atividades, e possuem relação orgânica entre
si. Todas publicações supramencionadas, estão disponíveis para download4 na
página eletrônica do CONARQ.
Conforme citado por Lampert e Flores (2010), para indicar requisitos de uma
ferramenta de workflow ajustada às necessidades arquivísticas, deve-se levar em
conta o e-ARQ Brasil, que estabelece um modelo de requisitos para um Sistema
Informatizado de Gestão Arquivística de Documentos (SIGAD).
O e-ARQ Brasil (2006) está dividido em duas partes. A primeira focada em teorias e
conceitos que balizam a Gestão Arquivística de Documentos. A outra, estabelecendo
a especificação de requisitos para atender um SIGAD e exibindo aspectos de
funcionalidade de um sistema informatizado.
2.3 Lei de Acesso à Informação
O Conselho Nacional de Arquivos – CONARQ – (2011b), descreve Sistema de
informação como sendo um conjunto organizado de políticas, procedimentos,
pessoas, equipamentos e programas computacionais que produzem, processam,
armazenam e proveem acesso à informação proveniente de fontes internas e
externas para apoiar o desempenho das atividades de um órgão ou entidade.
A preocupação com a organização e o acesso aos documentos públicos é antiga,
porém no Brasil, só recentemente, com a publicação do Livro Verde, MCT (2000), é
que foram dados os primeiros passos determinantes neste sentido, ao marcar o início
de uma nova era, o da sociedade da informação, que privilegia o conhecimento e usa
tecnologia em prol da coletividade.
Nessa publicação são relatadas as mudanças operadas no curto período de tempo,
após o advento da internet, e se prevê a adoção da tecnologia em diversas áreas,
inclusive no âmbito governamental. Segundo o Livro Verde, na era da Internet, o
4 conarq.arquivonacional.gov.br/publicacoes-tecnicas.html, acessado em 05.03.2019
Governo deve proporcionar a universalização do acesso e o uso crescente dos meios
eletrônicos de informação com a finalidade de gerar uma administração eficiente e
transparente em todos os níveis.
Também podemos citar como marco legal de garantia ao acesso à informação, o
disposto no parágrafo 2º do artigo 216 da Constituição cidadã de 1988, Brasil; Senado
Federal (2016), ao estabelecer que: “cabem à administração pública, na forma da lei,
a gestão da documentação governamental e as providências para franquear sua
consulta a quantos dela necessitem”.
A Lei nº 12.527/2011, Lei de Acesso à Informação (LAI), regulamenta o direito
constitucional de acesso às Informações públicas. Brasil (2011). Norma essa que
entrou em vigor em maio de 2012 e normatizou dispositivo que permitem, a qualquer
pessoa, física ou jurídica, sem necessidade de apresentar motivo, o recebimento de
informações públicas dos órgãos e entidades.
Os dispositivos dessa Lei são válidos para os três poderes da União, Estados, Distrito
Federal e Municípios, inclusive aos Tribunais de Conta e Ministério Público. As
entidades privadas sem fins lucrativos também são obrigadas a dar publicidade a
informações referentes ao recebimento e à destinação dos recursos públicos por elas
recebidos.
2.4 Qualidade de Software
Segundo Koscianski e Soares (2005), as várias partes que compõem a norma NBR
ISO/IEC apresentam, de maneira geral, os instrumentos necessários para que seja
realizada uma avaliação de software, apresentando como medir qualitativamente e
quantitativamente a qualidade do produto.
Segundo Colombo e Thienne (2009), a qualidade de software constitui uma área cuja
demanda está em ascensão, devido as exigências dos usuários, cada vez maior, por
eficiência, eficácia, dentre outras características de qualidade significativas para um
produto especial como um software e este autor cita, ainda, o movimento nacional e
internacional, no sentido de estabelecer normas na área de engenharia de software,
como é o caso da Organização Internacional de Normalização (ISO), no Subcomitê
de Engenharia de Software, e da Associação Brasileira de Normas Técnicas (ABNT).
De acordo com a ABNT NBR ISO/IEC 9126-1 (2003), a qualidade diz respeito à
totalidade de características de uma entidade que lhe confere a capacidade de
satisfazer as necessidades explícitas e implícitas. As necessidades explícitas
dependem da especificação dos requisitos referentes às condições na qual o produto
deve ser utilizado, seus objetivos, funções e o desempenho esperado. As implícitas
são necessidades que, embora não estejam especificadas nos requisitos, devem ser
levadas em consideração, pois se baseiam em princípios básicos e óbvios,
necessários para que o usuário execute a sua tarefa.
A International Organization for Standardization (ISO) é uma organização
internacional cujo principal objetivo é o desenvolvimento de padrões mundiais, com a
finalidade de facilitar o intercâmbio internacional de produtos e serviços e a criar uma
cooperação intelectual, científica, econômica e técnica. Em uma busca na página
eletrônica da ISO5, foi encontrada a Norma ISO / IEC 25010:2011, utilizada para
avaliação da qualidade de software.
Conforme citado por Rinaldo Macedo e André Lucirton (2014), a Norma ISO/IEC
25010-2011 faz parte do projeto Software product Quality Requirements and
Evaluation (SQuaRE), um conjunto de normas técnicas que estabelece padrões para
qualidade e inclui gerência, modelo, medição, requisitos e avaliação de qualidade para
qualquer produto de software. O modelo de qualidade estabelecido nessa Norma
ISSO/IEC para produto de software é composto tanto pelas dimensões de qualidade
do produto como pela qualidade em uso.
A NBR ISO/IEC 25010 (2011) é a mais recente norma de produto de software. Ela
substituiu a norma ISO/IEC 9126 e propõe oito características de qualidade a serem
atendidas por um software, são elas: Suportabilidade funcional, Eficiência de
desempenho, compatibilidade, usabilidade, confiabilidade, segurança, manutenção e
portabilidade. Ressalta-se aqui a aplicabilidade da norma ISO/IEC 25010,
5 https://www.iso.org/standard/35733.html, acessada em 30.03.2019
estritamente utilizada para avaliação de software em produção e após seu
desenvolvimento.
Denomina-se ABNT: Associação Brasileira de Normas Técnicas, organização
normatizadora brasileira, que no ano de 1993 instituiu o Subcomitê de Software, com
a finalidade de elaborar normas no Brasil relacionadas à Qualidade de Software. Em
pesquisa realizada na página eletrônica6 da ABNT, foram encontradas as normas
sobre avaliação da qualidade de produto de software constantes Quadro -2.
Quadro 2 - Normas ABNT - NBR - Avaliação da qualidade de produto de software
Norma ABNT NBR
Título Em vigor Objetivo
25062:2006
Engenharia de software —
Requisitos e avaliação da qualidade de produto de software
(SQuaRE) — Formato comum da
indústria (FCI) para relatórios de teste de usabilidade
27/04/2011
Destina-se à elaboração de relatório das
medidas obtidas em um teste de
usabilidade, conforme definidas na ISO 9241-11: eficácia, eficiência e satisfação
em um contexto de uso especificado.
25001:2007
Engenharia de software -
Requisitos e avaliação da
qualidade de produto de software (SQuaRE) - Planejamento e
gestão
20/03/2009
Fornece requisitos e recomendações para
uma organização responsável por implementar e gerenciar a especificação
dos requisitos de qualidade do produto de
software e pelas atividades de avaliação da qualidade de software.
25020:2007
Engenharia de software -
Requisitos e avaliação da
qualidade de produto de software (SQuaRE) - Guia e modelo de
referência para medição
20/04/2009
A seleção e construção de medidas de
qualidade de produto de software,
especialmente, com relação a seu uso em conjunto com outros documentos da série
SQuaRE.
25030:2007
Engenharia de software - Requisitos e Avaliação da
Qualidade de Produto de
Software (SQuaRE) - Requisitos de qualidade
22/10/2008
Fornece os requisitos e recomendações
para especificação de requisitos de
qualidade de produto de software.
Fonte: Elaborado pelo autor (2019)
6 https://www.abntcatalogo.com.br/normagrid.aspx, acessado em 31 de março de 2019.
Conforme disciplinado pela Norma ABNT NBR ISO/IEC 25030 (2008), pode haver
diversas maneiras apropriadas para definir os elementos de um sistema, onde o
software pode ser considerado um desses elementos. Um sistema computacional é
um exemplo de um sistema, que inclui software. Ainda conforme disciplinado por essa
Norma, os sistemas são providos de uma variedade de stakeholders que mantem o
interesse durante todo ciclo de vida. As partes interessadas em um sistema
compreendem:
• todas as pessoas (usuários);
• organizações (de usuários finais ou de desenvolvimento); e
• órgãos que possuem interesse no sistema(autoridades reguladoras ou o
público em geral).
Segundo a NBR ISO 9000 (2015), "qualidade é o grau no qual um conjunto de
características inerentes satisfaz aos requisitos". Ou seja, pode-se afirmar que se
algum produto ou serviço atende aos requisitos especificados, este mesmo produto
ou serviço possui a qualidade desejada. A qualidade pode ser medida através do
grau de satisfação em que as pessoas avaliam determinado produto ou serviço.
No contexto de sistemas de informação e softwares, o conceito da ISO aplica-se
totalmente, uma vez que os usuários finais sempre terão as expectativas de um
elevado padrão de qualidade para que suas atividades e tarefas sejam sempre
executadas da forma mais adequada possível.
Segundo Tian (2005), as expectativas de qualidade para sistemas de software estão
centradas nos seguintes aspectos:
• "O sistema de software deve fazer o que é suposto que se faça. Em outras
palavras, eles devem fazer certo as coisas". (TIAN, 2005, p. 35) e,
• "Eles devem realizar estas tarefas especificas corretamente e
satisfatoriamente. Em outras palavras, eles devem fazer as coisas certas".
(TIAN, 2005, p. 35)
Segundo o guia PMBOK® (2017), Project Management Body Of knowledge, o
gerenciamento da qualidade do projeto abrange os processos para incorporação da
política de qualidade da organização com relação ao planejamento, gerenciamento e
controle dos requisitos de qualidade do projeto e do produto para atender as
expectativas das partes interessadas. A Figura 4 apresenta o gerenciamento da
qualidade do projeto deste guia.
Segundo o PMBOK® (2017), o gerenciamento da Qualidade do Projeto presta suporte
às atividades de melhoria contínua de processos quando realizadas em nome da
organização executante. Os processos de Gerenciamento da Qualidade do Projeto
são, PMBOK® (2017, p.271):
• 8.1 Planejar o Gerenciamento da Qualidade - O processo de identificar
os requisitos e/ou padrões da qualidade do projeto e suas entregas, e
documentar como o projeto demonstrará a conformidade com os
requisitos e/ou padrões de qualidade.
• 8.2 Gerenciar a Qualidade - O processo de transformar o plano de
gerenciamento da qualidade em atividades da qualidade executáveis
que incorporam no projeto as políticas de qualidade da organização.
• 8.3 Controlar a Qualidade - O processo de monitorar e registrar
resultados da execução de atividades de gerenciamento da qualidade
para avaliar o desempenho e garantir que as saídas do projeto sejam
completas, corretas e atendam as expectativas do cliente.
Figura 3 - Gerenciamento da Qualidade do Projeto segundo o PMBOK
Fonte: PMOK 2017
Como se pode notar, é evidente a semelhança entre os conceitos usados no PMBOK
e os conceitos da própria ISO. Com isso, é possível ainda relacionar estes três
processos do PMBOK com as definições de controle da qualidade e garantia da
qualidade de software apresentados anteriormente.
As seguintes definições constam da Norma NBR ISO / IEC 12207(1998):
• adquirente: Uma organização que adquire ou obtém um sistema, produto
de software ou serviço de software de um fornecedor;
• avaliação: Determinação sistemática do grau de atendimento de uma
entidade em relação aos critérios para ela estabelecidos;
• operador: Organização que opera o sistema;
• processo: Conjunto de atividades inter-relacionadas que transforma
entradas em saídas;
• requisito de qualificação: Conjunto de critérios ou de condições que,
quando atendido, qualifica um produto de software quanto à conformidade
às suas especificações e quanto à sua utilização no seu ambiente-alvo;
• produto de software: Conjunto de programas de computador,
procedimentos e possível documentação e dados associados;
• serviço de software: Execução de atividades, trabalho ou obrigações
relacionadas ao produto de software, tais como seu desenvolvimento,
manutenção e operação;
• sistema: Conjunto integrado que consiste em um ou mais processos,
hardware, software, recursos e pessoas, capaz de satisfazer uma
necessidade ou objetivo definido;
• testabilidade: Extensão em que um teste objetivo e factível pode ser
projetado para determinar se um requisito é atendido;
• usuário: Indivíduo ou organização que utiliza um sistema em operação
para executar uma função específica;
• validação: Confirmação, por exame e fornecimento de evidência objetiva,
de que os requisitos específicos, para um determinado uso pretendido,
são atendidos; e
• verificação: Confirmação, por exame e fornecimento de evidência
objetiva, do atendimento aos requisitos especificados.
Segundo a Norma ABNT NBR ISO / IEC (1998, p. 25), um sistema deve ser operado
no ambiente para o qual foi pretendido, de acordo com a documentação do usuário
e, para cada liberação do produto de software, a organização que opera o sistema
deve executar o teste operacional e, satisfazendo os critérios especificados, deverá
liberar o produto de software para uso operacional.
De acordo com a NBR ISO / IEC 12207 (1998),“ Quando problemas (incluindo não-
conformidades) forem detectados em um produto de software ou em uma atividade,
um relatório de problema deve ser preparado para descrever cada problema
detectado.”
Segundo Cordeiro e Freitas (2011), é comum encontrar definições de qualidade de
software que remetem ao fato de ele ter que atender às necessidades dos usuários,
contudo as necessidades podem variam de usuário para usuário, o que torna ainda
mais difícil a obtenção de uma definição.
Avaliar a qualidade de sistemas torna-se cada vez mais importante, tendo em vista
que os usuários primam cada vez mais por boa qualidade. Segundo Colombo e
Thienne (2009), a qualidade de software deve ser avaliada em todos os estágios, ou
seja, durante o desenvolvimento, depois do produto gerado e, finalmente no produto
em uso.
De acordo com Khaddaj e Horgan (2004), para que um sistema possa ser
considerado de qualidade, o modelo precisa incorporar corretamente os requisitos de
qualidade propostos, assim refletindo o quão bem esses requisitos foram atendidos,
situação que transmite confiança aos usuários.
De acordo com a Norma ABNT NBR ISO/IEC 25030 (2008), um modelo de qualidade
é definido pelas seguintes perspectivas de qualidade:
• Qualidade do software em uso;
• Qualidade externa de software; e
• Qualidade interna do software.
A Norma ABNT NBR ISO/IEC 25030 (2008, p.6), define qualidade em uso como“ A
capacidade do produto de software em permitir que usuários especificados atinjam
suas metas especificadas com eficácia, produtividade, segurança e satisfação em
contextos de uso especificados.” Ou seja, a perspectiva de qualidade em uso,
relaciona-se com o aplicativo do software em seu ambiente operacional, realizando
tarefas específicas por usuários específicos.
Dessa forma, o objetivo desse estudo será avaliar o grau de qualidade do estágio de
uso do software SIGA-SIPWEB, sob a perspectiva dos usuários, com foco na etapa
medidas de qualidade do produto em uso.
2.5 Metodologia multicritério de apoio à decisão(MCDA)
Conforme destacado por Silveira Jr. (2016), os métodos de apoio à decisão estão
situados no escopo da Pesquisa Operacional (PO), não aquela que ganhou força e
ênfase após o fim da segunda Guerra Mundial para solucionar problemas decisórios
complexos, mas sim à nova abordagem que teve início a partir de estudos realizados
na França por Roy, em 1968 e nos Estados Unidos por Keeney, Raiffa e Saaty, atores
reconhecidos como pioneiros da metodologia MCDA.
Segundo Ensslin et al. (2000), as Metodologias Multicritérios constituem-se uma
evolução da Pesquisa Operacional (PO), ainda segundo esse autor, as duas
principias correntes de pensamentos multicritérios que se desenvolveram foram:
• Multicriteria Decision Making (MCDM): metodologia em que se pretende
desenvolver um modelo matemático para explicar uma situação de forma que
se obtenha uma ótima decisão; com base em uma situação real, independente
dos envolvidos, e
• Multicriteria Decision Aid (MCDA): metodologia que tem como proposito
modelar o contexto decisório, com vistas a produzir conhecimentos aos
participantes do processo.
Conforme Longaray e Ensslin (2013), o processo de intervenção da metodologia
MCDA são concebidos de forma ordenada e por meio de três fases básicas coerentes
e interagentes entre elas: a fase de estruturação; a fase de avaliação; e a fase de recomendações. As três fases da MDCA, com suas respectivas etapas, seguem
ilustrada Figura 4.
A problemática das metodologias MCDA tradicionais é a da escolha da solução ótima
dentre alternativas preexistentes, cujos exemplos dessa visão podem ser
encontrados em Zambon et al. (2005), Gomes (2005), Campos e Almeida (2006),
Chen, Kilgour e Hipel (2008), dentre outros.(ENSSLIR et al. p,129, 2010).
É nesse contexto que as metodologias multicritério de apoio à decisão (MCDA –
Multicriteria Decision Aid, na literatura inglesa) são promissoras como ferramentas
para aumentar a compreensão e subsidiar os decisores no processo relacionado à
análise da qualidade do software SIGA-SIPWEB, objeto deste trabalho, assim como
para auxiliar na formulação das alternativas e propostas que sejam consideradas
relevantes para melhoria deste software sob a ótica dos usuários
Figura 4 - As fases da MDCA
Fonte: Longaray; Ensslin (2013)
3 MÉTODOS E TÉCNICAS DE PESQUISA
A fim de obter respostas acerca dos objetivos propostos neste estudo, este capítulo
apresenta os mecanismos de operacionalização da pesquisa, através de tópicos
específicos que contribuem para a sua credibilidade.
Segundo MarconIi e Lakatos (2003), método é o conjunto das atividades sistemáticas
e racionais que, com maior segurança e economia, permite alcançar o objetivo –
conhecimentos válidos e verdadeiros – traçando dessa forma o caminho a ser
seguido e detectando erros e auxiliando nas decisões.
Inicialmente foi realizado um levantamento bibliográfico, em livros, teses, artigos
científicos e periódicos cujos conteúdos contribuíram para a consolidação dos
fundamentos teóricos dos principais itens deste trabalho, em seguida a
caracterização do software avaliado, a demonstração das etapas implementadas
para permitir a construção do modelo de avaliação, a apresentação dos participantes,
a caracterização da análise de sensibilidade realizada e por fim, as conclusões e
recomendações acerca das análises dos resultados
Segundo Fontenelles et al. (2009), o pesquisador, ao conhecer o tema de estudo,
poderá apresentar uma melhor fundamentação teórica que dará suporte e irá justificar
a sua proposta, além de determinar, com maior precisão, os objetivos propostos na
pesquisa, evitando-se a repetição de estudos já realizados pela comunidade
científica.
3.1 Tipologia e descrição geral dos métodos de pesquisa
A natureza da pesquisa realizada caracterizou-se como aplicada, pois se produziu
conhecimentos que podem ser empregados na melhoria da qualidade dos usuários
do software analisado. Segundo Fontenelles et al. (2009), o objetivo da pesquisa
aplicada é gerar conhecimentos científicos para aplicação prática voltada para a
solução de problemas concretos, peculiares da vida moderna. É a pesquisa que gera
novos processos tecnológicos e novos produtos, com resultados práticos imediatos
em termos econômicos e na melhoria da qualidade de vida.
Está pesquisa se classifica como descritiva, uma vez que a coleta de dados realizada
neste trabalho ocorreu de forma natural e espontânea, sem interferência do
pesquisador, por meio de aplicação de questionário. Conforme Nunes et al. (2016),
pesquisa descritiva é aquela em que se pratica o estudo, a análise, o registro e a
interpretação dos fatos do mundo físico sem a interferência do pesquisador.
Trata-se de uma pesquisa com abordagem qualitativa e quantitativa. Para Zanella
(2009), a pesquisa qualitativa tem como foco principal o pesquisador, responsável
pela coleta e análise dos dados, obtendo informações do ambiente próprio. Já a
quantitativa, aquela em que a coleta e à análise dos dados são realizadas por meio
de instrumentos estatísticos, sendo voltada para a medição e quantificação dos
resultados apurados.
Um discurso defendendo a importância dos dois enfoques é o de Gomes e Araújo
(2005, p. 8)
No campo da administração há um contexto favorável a utilização de
metodologias de pesquisa que adotem um enfoque múltiplo. O cenário
organizacional é, ao mesmo tempo, complexo e mutante. Se estudar o ser
humano isoladamente já é uma tarefa desafiadora, entendê-lo no ambiente
organizacional é uma tarefa ainda mais árdua.
Em relação a temporalidade, classifica-se como pesquisa transversal, uma vez que
os dados foram coletados em um único momento, em junho de 2019.
De acordo com Bastos e Duquia (2007), um estudo transversal contempla,
basicamente, as seguintes etapas: definição de uma população de interesse; estudo
da população por meio da realização de censo ou amostragem de parte dela; e
determinação da presença ou ausência do desfecho e da exposição para cada um
dos indivíduos estudados.
3.2 Caracterização da Organização estudada
O Departamento-Geral do Pessoal é o Órgão de Direção Setorial (ODS) do EB
responsável pelo planejamento, orientação, coordenação e o controle das atividades
do Sistema de Pessoal, e pela execução das atividades de administração de pessoal
que lhe são atribuídas pela legislação específica.
A Diretoria de Civis, Inativos, Pensionistas e Assistência Social - DCIPAS é o órgão
de apoio técnico-normativo do Departamento-Geral do Pessoal – DGP, responsável
por planejar, orientar, coordenar, controlar, supervisionar e avaliar as atividades
relacionadas com a transferência para a reserva remunerada, reforma, pensão militar,
pensão especial para ex-combatentes, anistiados políticos militares, prestação de
tarefa por tempo certo, dispensa de militar designado para o serviço ativo e gestão
dos servidores civis do Comando do Exército. Consta da Figura 5 o organograma do
DGP, Órgão de Direção Setorial – ODS, que enquadra a DCIPAS.
O software SIGA-SIPWEB, objeto de estudo deste trabalho, tem por finalidade
disponibilizar ao Serviço de Inativos e Pensionistas do Exército - SvIPEx um sistema,
com tecnologia Web; que permita o tráfego de informações digitalizadas,
automatizando os processos, com rastreabilidade, segurança, confiabilidade e
afeição de produção e produtividade.
Figura 5 -Organograma do Departamento-Geral do Pessoal
Fonte: Elaborado pelo autor (2019)
O PIPEx faz parte do portfólio de Projetos do Programa Força da Nossa Força do
DGP. Na Figura 6 ilustra-se o enquadramento deste projeto no Portfólio do DGP.
Figura 6 -Organograma do Portfólio de Projetos do DGP
Fonte: slide -Power Point - do Programa Força da Nossa Força – DGP (2019)
O desenvolvimento do software SIGA-SIPWEP, conduzido pela DCIPAS, integrará
os diversos segmentos envolvidos no SvIPEx, conforme demostrado na Figura 7, e
permitirá a expansão da modelagem do sistema de gestão eletrônica de documentos
e processos para todas Regiões Militares(RM) do EB.
Figura 7 - Integração do Software SIGA-SIPWEB
Fonte: Documentação do projeto PIPEx (2011)
3.3 Construção do modelo de avaliação
Neste capítulo serão apresentados os fundamentos da metodologia Multicriteria Decision Aid (Multicritério de Apoio à Decisão-MCDA), cujo método utilizado neste
estudo, fundamenta-se nos procedimentos para análise e coleta de dados propostos
por Ensslin et al. (2001). O modelo foi construído seguindo as seguintes etapas:
• Definição do rotulo do problema;
• Identificação dos atores envolvidos no processo de avaliação;
• Identificação dos elementos de avaliação;
• Construção dos descritores;
• Construção das funções de valor; e
• Construção da árvore de valor.
3.3.1 Definição do rótulo do problema
De acordo com Rodrigues (2014), o rótulo da pesquisa é o item mais relevante do
modelo e inspira a criação dos critérios a serem avaliados no trabalho.
Segundo Ensslin et al. (2001), o rótulo deve ser definido com base nos relatos dos
decisores sobre o problema, com objetivo de delimitar o campo a ser considerado e
o contexto decisório, com o propósito de evidenciar os aspectos relevantes na
resolução do problema.
Desse modo, para melhor caracterizar o estudo e orientar a resolução do problema,
e considerando que o objetivo proposto é avaliar um software de gestão arquivística
e documental, segundo a percepção de usuários, o rótulo definido para a pesquisa
neste trabalho foi:
Avaliação da qualidade do software SIGA-SIPWEB.
3.3.2 Identificação dos atores
Identificar os atores envolvidos, direta ou indiretamente no processo decisório, é uma
etapa importante do modelo, uma vez que esse grupo contribui com sugestões para
formação do modelo. Segundo Ensslin et al. (2001),os atores têm um expressivo
poder de intervir nos processos e nas decisões, esses são divididos em dois grupos:
agidos e intervenientes.
De acordo com, Silveira Jr. (2016), os agidos participam diretamente do processo
decisório, são aqueles afetados diretamente pelas decisões tomadas e os que
exercem pressão sobre os intervenientes. Os intervenientes são constituídos por dois
tipos de autores distintos:
• Decisores – são aqueles que detêm formalmente o poder de decisão, ficam
sujeito a responsabilização pelo efeito da decisão adotada.
• Facilitadores – formado por especialistas que têm por missão a condução do
processo de decisão ou de avaliação, não se omitindo de ser um ator atuante,
uma vez que jamais adotará postura de total neutralidade no processo.
Para fins da construção do modelo em análise, foram considerados os seguintes
atores:
• Agidos – para efeito deste trabalho, foram considerados os servidores usuários
do software SIGAM-SIPWEB que exercem suas funções em Seções de Serviço
de Inativos e Pensionistas (SSIP) regionais no Exército Brasileiro (EB), são
esses, apesar de não participaram de forma direta da construção do modelo,
os beneficiados diretos do presente estudo;
• Decisores – especialistas na área de TIC convidados para contribuir com seus
conhecimentos por ocasião da estruturação do modelo. Para tal atividade,
foram convidados 05 (cinco) especialistas dotados de elevado conhecimento
na área de computação, os quais exercem suas atividades no Centro de
Desenvolvimento de Sistemas (CDS) do EB, com sede na cidade de Brasília-
DF; e
• Facilitador – o autor deste trabalho.
3.3.3 Identificação dos elementos de avaliação
De acordo com Silveira Jr. (2018),os elementos de avaliação integram a base do
processo de avaliação do modelo e, conforme proposto por Ensslin et al. (2001) ,as
etapas para determina-los são as seguintes: identificação dos Elementos Primários
de Avaliação (EPAs), construção de Mapa Cognitivo e identificação dos Pontos de
Vista Fundamentais (PVFs), ainda, segundo o autor, o levantamento dos EPAs
representam o passo inicial para se chegar aos mapas cognitivos e que, por sua vez,
facultam a identificação dos PVFs. Os PVEs encabeçam os eixos básicos de
avaliação, de onde advém os critérios.
Ensslin et al. (2001) afirma que os PVFs são aqueles aspectos fundamentais para
avaliar ações potenciais e, ainda, explicitam os valores que são de interesse dos
decisores e são os elementos responsáveis por constituir os eixos de avaliação do
problema.
No caso específico desse trabalho, o resultado das reflexões iniciais sobre o rótulo,
resultou na estruturação hierárquica do modelo, momento onde foram definidos os
elementos julgados como mais impactantes dentro de um contexto, definidos neste
trabalho como PVEs. Cabe ressaltar, que foram suprimidos os passos definidos como
a identificação dos EPAs e construção do Mapa Cognitivo.
Para identificar, em um momento inicial, os principais elementos que se adequem aos
objetivos do estudo, foi realizado um brainstorming com o grupo de facilitadores
indicados no item anterior. A partir das análises e ideias propostas, foram
selecionados, com base na Norma ABNT. NBR ISO/IEC 25010 - Engenharia de
Software – Qualidade de Produto Parte 1: Modelo de Qualidade, os cinco eixos
básicos significativos de avaliação: suportabilidade funcional, eficiência do desempenho, confiabilidade, segurança e usabilidade. Todos eixos citados foram
caracterizados como candidatos a PVFs.
Para que um conjunto de aspectos seja considerado relevante é preciso considerar
as propriedades (KEENEY, 1996, p.82, citado por PETRI, 2005, p.15):
• Essencial: leva em conta os aspectos que sejam de fundamental importância;
• Controlável: considera apenas aqueles aspectos relacionados,
especificamente ao contexto decisório em análise;
• Completo: inclui todos os aspectos considerados fundamentais pelos
decisores;
• Mensurável: permite especificar, de modo preciso, a performance das ações
ou alternativas potenciais;
• Operacional: possibilita a coleta das informações requeridas;
• Isolável: permite a análise de um aspecto fundamental de forma independente
com relação aos demais aspectos do conjunto;
• Não-redundante: como o próprio nome diz, não deve levar em conte o mesmo
aspecto mais de uma vez;
• Conciso: o número de aspectos considerados deve ser o mínimo necessário
para modelar de forma adequada a situação decisional;
• Compreensível: seu significado deve ser claro, permitindo a geração e
comunicação de ideias.
Após ser constatado que os conjuntos de PVFs atenderam todos os aspectos acima,
foram submetidos à validação dos decisores, desmembrados e, logo após serem
convalidados, passaram a fazer parte da estrutura básica do modelo multicritério de
avaliação utilizado no presente trabalho.
Conforme Rodrigues (2014), a decomposição de cada ponto de vista fundamental em
diversos pontos de vista elementares tem por finalidade, viabilizar o processo de
identificação das ações potenciais, para se chegar aos fins com maior sucesso.
Apresenta-se, a seguir, o detalhamento da estrutura do modelo multicritério de
avaliação da qualidade do software SIGA-SIPWEB, após a decomposição dos PVFs
em PVEs:
PVF 1 – Suportabilidade funcional PVE 1.1 – Completeza funcional;
PVE 1.2 – Correção funcional;
PVE 1.3 – Adequação funcional.
PVF 2 – Eficiência do desempenho PVE 2.1 – Tempo de resposta;
PVE 2.2 – Velocidade de execução de tarefas.
PFV 3 – Confiabilidade PVE 3.1 – Disponibilidade;
PVE 3.2 – Recuperabilidade;
PVE 3.3 – Correção de erros.
PFV 4 – Segurança PVE 4.1 – Confidencialidade;
PVE 4.2 – Integridade;
PVE 4.3 – Responsabilização;
PVE 4.4 – Autenticação.
PFV 5 – Usabilidade PVE 5.1 – Facilidade de aprendizado;
PVE 5.2 – Facilidade de operação;
PVE 5.3 – Interface com o usuário;
PVE 5.4 – Feedback do sistema;
PVE 5.5 – Controle do usuário.
3.3.4 Construção dos Descritores
Segundo Ensslin et al. (2001), os descritores promovem o entendimento do que será
mensurado, assim como correspondem a um conjunto de níveis de impacto -NI que
possuem significado claro e colaboram para a descrição das performances das
ações, dessa forma, os NI devem estar ordenados em termos de preferência,
conforme o sistema de valores dos decisores.
Segundo Ensslin et. al (2001, citado por Quirino , 2002, p.48) a construção dos
descritores é uma das etapas mais importantes na elaboração do modelo, pois ela
influenciará na qualidade do modelo multicritério.
Conforme Quirino (2002), a construção dos descritores tem como finalidade:
• auxiliar na compreensão do que os decisores estão considerando;
• tornar o ponto de vista inteligível;
• permitir a geração de ações de aperfeiçoamento;
• possibilitar a construção de escalas de preferências locais;
• permitir a mensuração de desempenho de ações em um critério; e
• auxiliar a construção de um modelo global de avaliação.
Roy (1993, citado por QUIRINO, 2002, p. 68), segundo o paradigma do
construtivismo, não existe um descritor ótimo para avaliar um Ponto de Vista
Fundamental. O descritor é considerado adequado à medida que os decisores o
considerem como uma ferramenta apropriada à avaliação das ações potenciais.
Os descritores, de acordo com Ensslin et al. (2001), podem ser classificados como:
• diretos, construídos e indiretos (ou proxy);
• quantitativos ou qualitativos; e
• contínuos ou discretos.
Foram utilizados os descritores do tipo construídos, qualitativos e discretos, os quais
apresentam as seguintes características (Quirino 2002):
• construídos – explicam, segundo as percepções dos atores, os possíveis níveis
de impactos que uma ação pode ter em um PVF de forma exaustiva e concisa,
a partir da decomposição do eixo de avaliação (decomposição dos PVFs em
PVE);
• qualitativos – descrevem os pontos de vistas a partir de expressões semânticas
e por representações pictóricas; e
• discretos – são representados por um número finito de níveis de impacto, os
quais expressam as possíveis consequências das ações que compõem o
descritor.
No presente trabalho, foi decidido a utilização de cinco níveis de impacto, o nível
mais atrativo é corresponde a melhor performance possível, enquanto o nível menos
atrativo corresponde a pior performance aceitável, os demais níveis situam-se entre
estes dois extremos, dessa forma consegue-se uma melhor clareza do descritor por
ocasião do processo decisório. O Quadro 3 apresenta os níveis de impacto dos
descritores.
Quadro 3 - Níveis de impacto dos descritores
Simbologia Descrição
N5 Excelente
N4 Muito Bom
N3 Bom
N2 Regular
N1 Ruim
Fonte: Elaboração própria
Os descritores utilizados no presente trabalho atendem as propriedades desejáveis
definidas por Keeney e Thinking (1992), como mensurabilidade, operacionalidade e
compreensibilidade.
Para um melhor entendimento, no Quadro 4 apresenta-se as descrições dos
elementos de avaliação.
Quadro 4 – Descrição dos elementos de avaliação
PVFs (Critérios) PVEs (Subcritérios)
1. Suportabilidade funcional: capacidade
do sistema em prover funções para atender a necessidades explícitas e
implícitas para as quais foi concebido.
1.1 Completeza funcional: o sistema contempla todas as funcionalidades necessárias ao desenvolvimento das atividades do usuário.
1.2 Correção funcional: o sistema consegue apresentar informações de forma clara, concisa e sem ambiguidades ao usuário.
1.3 Adequação funcional: o sistema consegue auxiliar e facilitar a realização das tarefas do usuário.
2. Eficiência do desempenho: capacidade do sistema manter o nível
de desempenho adequado.
2.1 Tempo de resposta: tempo de processamento
das informações requeridas ao sistema.
2.2 Velocidade de execução de tarefas: tempo
despendido pelo usuário para realização das
suas tarefas utilizando o sistema.
3. Confiabilidade: capacidade do
sistema executar suas funções de
modo contínuo.
3.1 Disponibilidade: capacidade do sistema manter-se operacional e acessível ao ser
requerido pelo usuário
3.2 Recuperabilidade: capacidade do sistema, em
caso de falhas ou interrupções no
funcionamento, recuperar dados e informações
perdidas.
3.3 Correção de Erros: meios proporcionados pelo
sistema para corrigir, de forma fácil e imediata,
eventuais erros cometidos pelo usuário durante a realização de suas tarefas no
sistema.
4. Segurança: capacidade do sistema de
proteger informações e dados.
4.1 Confidencialidade: capacidade do sistema de
garantir que os dados/documentos recebidos e
produzidos estejam acessíveis apenas aos
usuários credenciados.
PVFs (Critérios) PVEs (Subcritérios)
4.2 Integridade: capacidade do sistema de garantir
a integridade dos documentos recebidos e
produzidos.
4.3 Responsabilização: capacidade do sistema de
rastrear e auditar, por meio de relatórios, tanto
os acessos quanto as operações dos usuários
4.4 Autenticação: capacidade de condicionar o
acesso ao sistema a prévia autenticação da identidade do usuário
5. Usabilidade: grau de facilidade na qual
o usuário realiza qualquer tarefa no sistema.
5.1 Facilidade de aprendizado: facilidade de
aprender as funcionalidades disponíveis no
sistema.
5.2 Facilidade de operação: facilidade de operar
as funcionalidades disponíveis no sistema
5.3 Interface com o usuário: capacidade do layout
da tela do sistema interagir de forma agradável
e amigável com o usuário.
5.4 Feedback do sistema: coerência e consistências das respostas fornecidas pelo
sistema às ações do usuário.
5.5 Controle do Usuário: funcionalidades do
sistema que permitem ao usuário o controle do
processamento das operações requeridas ao
sistema.
Fonte: Elaboração própria
3.3.5 Construção das funções de valor
As funções de valor são importantes, pois alteram o modelo qualitativo em
quantitativo. Entendendo-se, aqui, que valor é a referência aos juízos do decisor, ao
nível de importância de determinada coisa, estabelecida ou arbitrada. Dessa forma,
utilizam-se métodos para diferenciar os níveis de atratividade a partir da percepção
dos decisores. Ensslin et al (2012)
Segundo Quirino (2002), vários são os métodos existentes na literatura que podem
ser utilizados para a construção das funções de valor. Portanto, para o presente
trabalho, é utilizado o método denominado Julgamento Semântico onde, segundo
Rodrigues (2014, P. 138).
Na construção do método de julgamento semântico tem-se a comparação
de cada par de diferenças de atratividade, que tem como referência uma
ação potencial, para julgamento dos decisores. O referido método apresenta
uma estrutura escalar ordinal semântica, que tem base em palavras pré-
definidas, com a intenção de oferecer diferentes intensidades de preferência
para uma ação em relação à outra. (Rodrigues 2014, p. 138).
Neste trabalho, optou-se pela utilização do método de julgamento semântico. Nesse
tipo de método, a função de valor é obtida através de comparações par a par da
diferença de atratividade entre alternativas potenciais (BEINAT, 1995). Para isso,
solicita-se ao decisor que expresse qualitativamente, através de uma escala ordinal
semântica, a intensidade de preferência percebida. Na operacionalização desse
processo foi empregado o método MACBETH – Measuring Attractiveness by a
Categorical Based Evaluation Technique (BANA e COSTA; VANSNICK, 1995).
Conforme disciplinado por Silveira Jr. (2018, p. 94), “as funções de valor devem
satisfazer as condições matemáticas indicadas abaixo”:
• Para todo a, b ∈ A, v(a) > v(b) se, e somente se, para o avaliador “a” for mais
atrativa que “b” (a P b) (“a” é preferível a “b”);
• Para todo a, b ∈ A, v(a) = (b) se, e somente se, para o avaliador “a” for
indiferente a “b’ (a I b) (“a” é indiferente a “b”);e
• Para todo a, b, c, d ∈ A, v(a) – v(b) > v(c) – v(d) se, e somente se, para o
avaliador a diferença de atratividade entre “a” e “b” for maior que a diferença
de atratividade entre “c” e “d”.
Ilustra-se na Figura 8, a título de exemplo, a tela do Macbeth com a matriz de
julgamento semântico referente à construção da função de valor do PVE 4.1 –
Confidencialidade. Procedimento equivalente foi adotado para os demais PVEs, cujas
matrizes constam no Anexo A.
Fonte: Macbeth
3.3.6 Determinação das taxas de substituição
As taxas de substituição de um modelo multicritério de avaliação expressam, de
acordo com o julgamento dos decisores, a perda de performance que uma ação
potencial pode sofrer em um critério para compensar o ganho de desempenho em
outro e, assim, são ferramentas que permitem que as opiniões dos decisores sejam
negociadas (ROY, 1996). Neste trabalho, a determinação das taxas de substituição
aconteceu por intermédio da ordenação dos PVFs e PVEs por ordem de preferência
e de acordo com o juízo de valor dos decisores, possibilitando que ocorresse por
estimação a determinação das respectivas taxas de substituição. As taxas de
substituição estão na Figura 9.
3.3.7 Construção da árvore de valor
Após a etapa de definição da estrutura básica do modelo de avaliação, foi construída
a correspondente árvore de valor, cuja estrutura definitiva é representada por um
Figura 8 - Funções de valor do PVE 4.1 – Confidencialidade
diagrama arborescente, sendo composta pelos elementos abaixo, conforme consta
na Figura 9.
• um objetivo estratégico (cor amarela);
• cinco PVFs ou critérios (cor azul); e
• dezessete PVEs ou subcritérios (cor verde).
Conforme Silveira Jr. (2016), finalizadas as etapas relativas à construção da
“estrutura física” do modelo multicritério de avaliação, as etapas sucessivas, mais
sensíveis, correspondem à estruturação dos aspectos internos do modelo, com
características que permitem mensurar as ações que serão avaliadas (ações
potenciais).Tais aspectos são os descritores, as funções de valor e as taxas de
substituição.
Após a construção do modelo de avaliação, elaborou-se o questionário, Apêndice “A”,
que foi utilizado na pesquisa de campo. Para confecção desse documento, procedeu-
se como disciplinado por Silveira Jr. (2016), iniciou-se dos subcritérios, os quais
originaram, isoladamente, a dezessete perguntas, cujas alternativas de respostas,
tiveram como base os seguintes Níveis de Impactos (NI) dos descritores:
• excelente;
• muito bom;
• bom;
• regular; e
• ruim.
Figura 9 - Estrutura Arborescente do Modelo Multicritério com a indicação das taxas
de substituição
FONTE: elaboração própria (2019)
3.4 Procedimentos para o cálculo das avaliações
Considerando que o objeto final do presente trabalho é proceder a avaliação da qualidade do software SIGA-SIPWEB sob a percepção dos usuários e que, para
tal, foram identificados cinco Pontos de Vistas Fundamentais (PVFs), onde juntos são
capazes de caracterizar tal objeto. Assim, entendeu-se, como citado por Silveira Jr.
(2016), que seria pertinente determinar um procedimento para avaliar, em seu
conjunto, cada PVF, uma vez que os resultados da pesquisa de campo, depois de
tratados pelo software Hiview37 , determinarão somente a pontuação de cada
respondente, por PVF e globalmente.
Em seguida, seguindo a metodologia MDCA, conforme citado por Silveira Jr. (2016),
de posse da avaliação quantitativa de cada PVF, foi definida uma equação com a
finalidade de calcular a avaliação quantitativa global do objeto escopo deste trabalho.
Para tal, com base nas premissas definidas por Ensslin et al. (2001), foram definidas
equações par o cálculo da avaliação (nota) dos cinco critérios e da avaliação global,
tendo como base os resultados apurados na pesquisa, após serem devidamente
tratados.
3.4.1 Cálculo das avaliações dos critérios
Para o cálculo da avaliação dos critérios (PVFs) – avaliações parciais – foi utilizada
a fórmula de agregação aditiva, dada pela seguinte equação (adaptada de Ensslin et
al., 2001)
A(PV) = ∑ [∑ 𝑃𝑖. (𝐹𝑉𝑖𝑅𝑗)./01 ]. 1 𝑛56
701 [1]
Onde:
• A (PVF) = avaliação do PVF;
• Pi = taxa de substituição (peso) do PVE “i”;
7 Sofware desenvolvido pela empresa Catalyze Ltd. Company Information.
• (FViRj) = função de valor do respondente “j” impactada no PVE
i;
• m = número de subcritérios (1, 2, ... i); e
• n = 25 (número de respondentes).
A referida equação está submetida às seguintes restrições:
• o somatório das taxas de substituição deve ser igual a 1 (p1 +
p2 + p3 + p4 + p5 = 1 →100%);
• o valor das taxas de substituição deve ser maior do que zero e
menor do que 1 (0 < 𝑷𝒊 < 1, para i = 1, 2 e 3);
Após a avaliação de cada PVF, foi realizado o cálculo da avaliação global do objeto do presente trabalho, para tal, foram observados os fundamentos e princípios
preconizados pela metodologia MCDA e premissas definidas Ensslin et al. (2001).
3.4.2 Cálculo da avaliação global
Para o cálculo da avaliação global (nota final), definiu-se uma fórmula de agregação
aditiva, a partir da seguinte equação:
A(G) = ∑ [∑ 𝑥𝑖. 𝑦𝑖(𝑅𝑗)</01 ]. 1 𝑛56
701 [2]
Onde:
• AG = avaliação global;
• yi (Rj) = pontuação parcial do respondente j nos critérios: (1, 2,
3, 4 e 5) ;
• xi = taxa de substituição dos critérios: (1, 2, 3, 4, e 5)
• n = 25 (número de respondentes) e
• k = 5 (número de critérios:1, 2, 3, 4 e 5).
Tal equação está submetida às seguintes restrições:
• somatório das taxas de substituição dos PVFs deve ser igual a
1 (y1 + y2 + y3 + y4 + y5 = 1 → 100%);
• valor das taxas de substituição deve ser maior do que zero e
menor do que 1 (0 < yi < 1, para i = 1, 2, 3, 4, 5 e 6);
3.5 Análise de sensibilidade
A análise de sensibilidade é um procedimento realizado após a realização da
pesquisa de campo e do devido tratamento dos dados, tem por finalidade a
verificação da robustez do modelo de avaliação, que apesar de ter sido construído
seguindo rigorosamente o proposto na metodologia, justifica-se checa-lo para conferir
a sua robustez, conforme disciplinado por Ensslin et al. (2001), devido a possibilidade
de algumas fontes de imprecisão advindos dos modelos multicritérios de avaliação
De acordo com Silveira Jr. (p.106, 2018):
a) devido à complexidade do contexto decisório, às vezes, os decisores definem
modelos que, em sua essência, não fornecem bases adequadas para a devida
avaliação;
b) às vezes, os modelos definidos baseiam-se tão somente no presente, ou em
situações passadas, de modo que podem não serem aderentes a situações
futuras;
c) alguns modelos preocupam-se com medidas exatas e apresentam indecisão
quanto ao que se deve medir, de modo a desconsiderar a essência de tais
modelos, principalmente o fato de que as representações numéricas devem ser
apenas “ordens de magnitude” e não quantidades exatas; e
d) sendo a metodologia calcada no paradigma construtivista, segundo o qual as
preferências são construídas, e não descobertas, o facilitador desavisado pode
influenciar as respostas dos decisores e, com isso, desvirtuar a versão final do
modelo.
As taxas de substituição devem ser iguais a 1, a alteração de uma determinada taxa
implica na modificação das demais.
Dessa forma, para serem calculadas as novas taxas de substituição do modelo como
um todo, utiliza-se a seguinte fórmula proposta por Ensslin et al. (2001):
pn? = AB.(1CADE)
(1CAD) [3]
Onde:
• pi = taxa de substituição (peso) original do critério i;
• pi’ = taxa de substituição (peso) modificada do critério i;
• pn = taxa de substituição (peso) original do critério n;
• pn' = taxa de substituição (peso) modificada do critério n.
Neste trabalho, para a verificação da análise de sensibilidade, foi seguido o proposto
por Quirino (2002, p. 152):
A Análise de Sensibilidade é usada para verificar se o modelo é robusto a
alterações nas taxas de substituição nos critérios (Goodwin e Wright, 1991).
Para verificar a robustez do modelo, é necessário que se façam pequenas alterações (em torno de 10%) nas taxas de substituição dos critérios. Depois,
verificam-se as variações ocorridas nas pontuações (avaliações) globais das
ações potenciais (candidatos). Se, com as pequenas alterações feitas, a
maioria permanecer igual à ordem das avaliações globais das ações
potenciais, diz-se que o modelo é robusto. Caso contrário, o modelo não será
robusto. Sendo assim, é necessária muitas vezes uma reavaliação das taxas
de substituição dos critérios utilizadas, em último caso, saber até quanto
(menos de 10%) se pode alterar as taxas para não haver grandes oscilações nas avaliações globais das ações potenciais (ver Ensslin et al., 2001).
Os resultados da verificação da análise da sensibilidade serão apresentados no
subitem 4.7.
3.6 Procedimento de coleta dos dados
Com a definição dos descritores da pesquisa, foi construído o questionário constante
do Apêndice “A” para coleta dos dados contendo 17 questões avaliativas, as quais
foram estruturadas de forma a evitar dúvidas na interpretação dos respondentes.
O uso desse instrumento de pesquisa permitiu que se fosse realizado, num universo
de 25 usuários do sistema SIGA-SIPWEB, a avaliação da qualidade do software.
Participaram da pesquisa de campo, na qualidade de agidos, servidores lotados nas
SSIP das 1ª e 11ª Regiões Militares, localizadas, respectivamente, nas cidades do
Rio de Janeiro-RJ e Brasília-DF. Todos os respondentes estavam exercendo suas
funções no Serviço de Inativos e Pensionistas do Exército Brasileiro (SvIPEx).
O levantamento dos dados foi realizado durante o mês de agosto de 2019. Para
realização da pesquisa foi disponibilizado para os respondentes um link na web com
a finalidade de, ao ser acionado, apontar para um formulário eletrônico em site
especializado. A pesquisa foi respondida, num intervalo máximo de 7 dias, por 25
servidores que exercem parte de suas atividades funcionais operando o sistema
SIGA-SIPWEB.
4 ANÁLISE DOS DADOS DA PESQUISA DE CAMPO
Para o cálculo da avaliação (nota) dos cinco critérios e da avaliação global, foram
utilizados como insumos os resultados da pesquisa realizada, após serem tratados
pelo software Hiview3. O tratamento ocorreu a partir do modelo de avaliação
construído.
Os resultados das análises serão apresentados por blocos, referentes a cada PVF e,
ao final, apresenta-se detalhadamente a avaliação global, onde refletem-se as
avaliações de cada respondente, a partir dos juízos de valor dos decisores que
contribuíram para a construção do modelo multicritério de avaliação.
4.1 Análise do PVF 1 – Suportabilidade funcional
O PVF 1 – Suportabilidade funcional teve participação de 19% no contexto global.
Foi levado em consideração, para fins de avaliação, os seguintes PVEs: 1.1 Completeza funcional; 1.2 Correção funcional e 1.3 Adequação funcional. Tais
requisitos (subcritérios), validados pelos decisores, em conjunto, representam a
caracterização completa do critério sob análise.
Na Figura 9, apresenta-se a síntese das pontuações ponderadas computadas pelo
software Hiview3 a cada um dos respondentes para os três PVEs desse PVF. As colunas rotuladas de 1 a 25 referem-se aos respondentes da pesquisa. As linhas
representam os PVEs que compõem o PVF. Na última linha constam as pontuações
totais atribuídas pelos respondentes ao critério Suportabilidade Funcional ( PVF 1)
como um todo.
A interseção entre uma coluna e uma linha representa a pontuação referente à função
de valor correspondente ao nível de impacto atribuído pelo respondente ao PVE
avaliado.
A coluna "Weight" representa o peso do respectivo PVE no PVF, enquanto a coluna
"Cumulative Weight" representa o peso do PVE em relação à avaliação global. Na
última linha encontra-se às pontuações totais atribuídas por cada respondente ao
PVF como um todo, levando-se em consideração os pesos de cada PVE
apresentados na colua "Weight".
Figura 10 - Participação ponderada dos PVEs no PVF1
Fonte: Hiview3
A avaliação desse PVF 1, em uma escala de 0 a 10, obteve a pontuação de 7,37, a
que melhor contribuiu para a composição da nota global da avaliação do software
SIGA-SIPWEB. Pôde-se observar que a maioria dos respondentes declarou-se
satisfeita com as funcionalidades do software destinadas a atender as inúmeras
demandas relacionas a gestão eletrônica dos documentos tramitados no SvIPEx
Neste quesito, numa escala de 0 a 100, apenas três (12%) das vinte e cinco
pontuações ponderadas ficaram com valor abaixo de 50, que, ao ser analisada em
uma perspectiva macro pode ser considerada como satisfatória.
Para fins de demonstração, no gráfico da Figura 10 apresenta-se a contribuição de
cada PVE na composição da pontuação do PVF 1.
O PVE 1.1 – Completeza funcional recebeu a pontuação de 7,64, foi o que melhor
contribuiu para a composição da nota do PFV1, podendo-se aferir que a maioria dos
respondentes consideraram que o software SIGA-SIPWEB contempla, de forma
satisfatória, as funcionalidades necessárias ao desenvolvimento de suas atividades
como operador usuário.
Figura 11 - Contribuição de cada PVE na avaliação do PVF1
Fonte: Hiview3
O PVE 1.2 – Correção funcional recebeu a pontuação de 7,07, foi o que recebeu a
menor nota entre os PVEs deste PVF, mesmo assim, o resultado pode ser
considerado satisfatório, podendo-se aferir que, de forma razoável, que o software
consegue apresentar informações clara, concisa e sem ambiguidades aos
operadores na realização de tarefas afetas ao SvIPEx. Contudo, sendo passível de
ajustes na busca do nível de excelência desejável.
O PVE 1.3 – Adequação funcional recebeu a pontuação de 7,42, resultado que,
pode ser também satisfatório, onde depreende-se que o software, de forma aceitável,
consegue auxiliar e facilitar a realização das tarefas dos usuários
4.2 Análise do PVF 2 – Eficiência do desempenho
O PVF 2 Eficiência do desempenho, teve participação de 14% no contexto global.
Foi levado em consideração, para fins de avaliação, os seguintes PVE: 2.1 Tempo de resposta e 2.2 Velocidade de execução de tarefas. Tais requisitos
(subcritérios), validados pelos decisores, em conjunto, representam a caracterização
completa do critério sob análise. Em uma escala de 0 a 10, obteve a pontuação de
6,56, que, ao ser analisada em uma perspectiva macro, pode ser considerada como
razoável, pelo fato de o objeto da avaliação tratar-se de um software recém
produzido, que tem por finalidade automatizar os processos relacionados com o
SvIPEx.
Neste quesito, numa escala de 0 a 100, cinco (20%) das vinte e cinco avaliações
ponderadas de respondentes obtiveram pontuação abaixo de 50. Depreende-se, por
ser a primeira avaliação realizada desse software, a necessidade de uma revisão dos
requisitos mínimos necessários nos CPU dos usuários operadores do sistema para o
funcionamento pleno do software SIGA-SIPWEB.
Para fins de demonstração, no gráfico da Figura 12 apresenta-se a contribuição dos
PVE na composição da pontuação do PVF 2 e, no gráfico da Figura 13, apresenta-
se a contribuição de cada PVE na composição da pontuação do referido PVF.
Figura 12 - Participação ponderada dos PVEs no PVF 2
Fonte: Hiview3
Figura 13 -Contribuição de cada PVE na avaliação do PVF 2
Fonte: Hiview3
O PVE 2.1 – Tempo de resposta recebeu a pontuação de 6,28, a menor, dentre as
duas, que contribuiu para a composição da nota do PFV, podendo-se avaliar que a
maioria dos respondentes consideraram bom o tempo de processamento das
informações requeridas ao software SIGA-SIPWEB. Sendo essa, portanto, uma
funcionalidade passível de melhoria.
O PVE 2.2 – Velocidade de execução das tarefas recebeu a pontuação de 6,84, a
maior, dentre as duas, que contribuiu para a composição da nota do PFV. Ressalta-
se nesse quesito que o o resultado pode ser considerado satisfatório, podendo-se
aferir que, de forma razoável, o software é capaz de auxiliar e facilitar a realização
das tarefas do usuário. Sendo, também, funcionalidade passível de melhoria.
4.3 Análise do PVF 3 – Confiabilidade
O PVF 3 Confiabilidade teve participação de 29% no contexto global. Foi levado em
consideração, para fins de avaliação, os seguintes PVE: 3.1 Disponibilidade, 3.2 Recuperabilidade e 3.3 Correção de erros. Tais requisitos (subcritérios), validados
pelos decisores, em conjunto, representam a caracterização completa do critério sob
análise. Em uma escala de 0 a 10, obteve a pontuação de 5,79 que, ao ser analisada
em uma perspectiva macro, pode ser considerada como regular, pelo fato de o objeto
da avaliação tratar-se de um sistema de gestão eletrônica de documentos recém
implantado, em substituição ao modo manual, sendo para tal necessária a quebra de
paradigmas por parte dos usuários. Infere-se que, para melhoria desta funcionalidade
seja necessário o investimento por parte da organização em cursos e treinamentos
para os operadores usuários do sistema.
Para fins de demonstração, no gráfico da Figura 14 apresenta-se a contribuição dos
PVE na composição da pontuação do PVF analisado, e no gráfico da Figura 15
apresenta-se a contribuição de cada PVE na composição da pontuação do PVF.
Figura 14 -Participação ponderada dos PVEs no PVF 3
Fonte: Hiview3
Figura 15 -Contribuição de cada PVE na avaliação do PVF 3
Fonte: Hiview3
O PVE 3.1 – Disponibilidade obteve a pontuação de 5,64, foi o que recebeu a menor
nota entre os PVEs deste PVF, podendo-se aferir que a maioria dos respondentes
consideram regular a capacidade do software SIGA-SIPWEB em manter-se de forma
operacional e acessível quando requerido pelos seus usuários. Neste caso, medidas
corretivas devem ser aplicadas para que esta funcionalidade possa atinja uma melhor
nota.
O PVE 3.2 – Recuperabilidade recebeu a pontuação de 5,65, podendo-se aferir que,
a maioria dos respondentes consideraram de maneira regular a capacidade do
software de conseguir, em caso de falhas ou interrupções durante o funcionamento,
recuperar dados e informações perdidas. Neste caso, também, julga-se necessária a
aplicação de medidas corretivas para que esta funcionalidade atinja uma melhor
pontuação.
O PVE 3.3 – Correção de erros recebeu a pontuação de 6,08, foi o que melhor
contribuiu para a composição da nota do PFV 3, resultado que pode ser considerado
satisfatório onde depreende-se que o software, de forma razoável, permite aos
usuários a correção de eventuais erros cometidos por eles durante a realização de
suas tarefas no sistema. Também, a semelhança dos outros PVE que compõem o
PVF 3, medidas corretivas, como investimento em cursos e capacitações de
operadores usuários do sistema, devem ser aplicadas para que esta funcionalidade
atinja uma melhor pontuação.
4.4 Análise do PVF 4 – Segurança
O PVF 4 Segurança teve participação de 21% no contexto global. Foi levado em
consideração, para fins de avaliação, os seguintes PVE: 4.1 confidencialidade, 4.2 integridades, 4.3 Responsabilização e 4.4 Autenticação. Tais requisitos
(subcritérios), validados pelos decisores, em conjunto, representam a caracterização
completa do critério sob análise. Neste quesito, o software em análise dispõe de
controles de acesso e procedimentos de segurança que garantem a integridade dos
documentos. Entre esses procedimentos, podem-se destacar o uso de controles
técnicos e programáticos, diferenciando tipos de documentos, perfis de usuários e
características de acesso aos dados, e a manutenção de trilhas de auditoria e de
rotinas de cópias de segurança. Em uma escala de 0 a 10, obteve a pontuação de
7,31 que, ao ser analisada em uma perspectiva macro, pode ser considerada como
satisfatória.
Para fins de demonstração, no gráfico da Figura 16 apresenta-se a contribuição dos
PVE na composição da pontuação do PVF 4, e no gráfico da Figura 17 apresenta-se
a contribuição de cada PVE na composição da pontuação do PVF em análise.
Figura 16- Participação ponderada dos PVEs no PVF 4
Fonte: Hiview3
Figura 17 -Contribuição de cada PVE na avaliação do PVF 4
Fonte: Hiview3
O PVE 4.1 – Confidencialidade recebeu a pontuação de 7,40, podendo-se aferir que
a maioria dos respondentes consideram satisfatória a capacidade do software SIGA-
SIPWEB garantir que os dados/documentos recebidos e produzidos estejam
acessíveis apenas aos usuários credenciados, ou seja, que as operações feitas em
ambiente com interoperabilidade impossibilitam os acessos de pessoas não
autorizadas.
O PVE 4.2 – Integridade recebeu a pontuação de 7;44, podendo-se aferir que a
maioria dos respondentes consideraram que o software, de maneira satisfatória, é
capaz de manter a integridade dos documentos recebidos e produzidos, sem sofrer
nenhum tipo de corrupção ou alteração não autorizada.
O PVE 4.3 – Responsabilização recebeu a pontuação de 7,07, foi o que recebeu a
menor nota entre os PVEs deste PVF, resultado que pode também ser considerado
satisfatório, depreende-se da pontuação recebida que os respondentes,
consideraram que o software, de forma satisfatória, é capaz de realizar o
rastreamento dos documentos em trilhas de auditoria, permitindo, por meio de
relatórios, verificar a ocorrência de acesso e uso indevidos aos documentos.
O PVE 4.4 – Autenticação recebeu a pontuação de 7,35, foi o que melhor contribuiu
para a composição da nota do PFV3, resultado também considerado satisfatório
pelos respondentes, onde depreende-se que o software é capaz de realizar o
mapeamento da identidade do usuário legítimo e das permissões concedidas a ele,
imediatamente após sua autenticação, com base nas credenciais de autenticação.
4.5 Análise do PVF 5 – Usabilidade
O PVF 5 Usabilidade teve participação de 17% no contexto global. Foi levado em
consideração, para fins de avaliação, os seguintes PVE: 5.1 Facilidade de aprendizado, 5.2 Facilidade de operação, 5.3 Interface com o usuário, 5.4 Feedback do sistema e 5.5 Controle do usuário.Tais requisitos (subcritérios),
validados pelos decisores, em conjunto, representam a caracterização completa do
critério sob análise. Neste quesito o resultado demonstrou que o sistema de software
tem boa usabilidade por ser capaz de apoiar a realização de tarefas simples, diretas
e objetivas, permitindo garantir as metas de produtividade e qualidade de trabalho do
usuário. Em uma escala de 0 a 10, obteve a pontuação de 6,79 que, ao ser analisada
em uma perspectiva macro, pode ser melhorada com as seguintes ações:
implementação de tutorias auto explicativos sobre a utilização das funcionalidades do
sistema, módulos educacionais adicionais para instruir os operadores usuários e por
meio de treinamentos.
Para fins de demonstração, no gráfico da Figura 18 apresenta-se a contribuição dos
PVE na composição da pontuação do PVF 5, e no gráfico da Figura 19 apresenta-se
a contribuição de cada PVE na composição da pontuação desse PVF.
Figura 18 - Participação ponderada dos PVEs no PVF 5
Fonte: Hiview3
Figura 19 -Contribuição de cada PVE na avaliação do PVF 5
Fonte: Hiview3
O PVE 5.1 – Facilidade de aprendizado recebeu a pontuação de 6,54, neste quesito
depreende-se que o sistema não permite aos usuários dominar e explorar com
rapidez as funcionalidades necessárias a realização de suas tarefas, portanto,
medidas corretivas como treinamentos destinados aos operadores usuários do
sistema podem contribuir para melhoria desse quesito.
O PVE 5.2 – Facilidade de operação recebeu a pontuação de 7,20, neste quesito a
maioria dos respondentes consideraram de forma satisfatória a facilidade de operar
as funcionalidades disponíveis, podendo-se aferir que o sistema é possui grau de
intuição satisfatório.
O PVE 5.3 – Interface com o usuário recebeu a pontuação de 6,04, foi o quesito
que recebeu a menor nota entre os PVEs deste PVF, onde depreende-se que o layout
da tela do sistema interage com o usuário de forma regular, portanto modificações no
layout do sistema, de forma que o menu passe a apresentar as suas funções com
maior clareza e praticidade para as operações do dia a dia do operador, poderá
contribuir para a melhoria do quesito.
O PVE 5.4 – Feedback do sistema recebeu a pontuação de 7,70, foi o que melhor
contribuiu para a composição da nota do PFV5, resultado que pode ser considerado
satisfatório, onde depreende-se que o usuário recebe, à cada interação com o
sistema, estímulos suficientemente distintos e adequados que lhe permite conhecer
de forma satisfatória o estado do sistema e a natureza da ação, ou seja, toda ação
do usuário corresponde uma resposta perceptível por parte do sistema.
O PVE 5.5 – Controle do usuário recebeu a pontuação de 6,44, resultado que pode
ser considerado aceitável, onde depreende-se que os respondentes não se sentiram
de forma razoável no controle do processamento do sistema. Pelo fato de o controle
do usuário favorecer o aprendizado e diminuir a probabilidade de ocorrências de
erros, medidas corretivas, como o investimento em capacitação e treinamento, devem
ser aplicadas para que esta funcionalidade atinja uma melhor pontuação.
4.6 Análise da avaliação global
Na parte relativa à avaliação global constam: na Figura 20 a compilação dos dados
brutos da pesquisa de cada respondente em relação aos PVFs; na Figura 21 a
compilação dos dados ponderados, de acordo com os pesos de cada PVF; na Figura
22 o gráfico de barras relativo à avaliação de cada respondente em relação aos PVFs;
na Figura 23 o gráfico de barras indicando a contribuição de cada PVF nas avaliações
individuais dos respondentes e, na Figura 24, o gráfico de barras indicando a
contribuição de cada critério de avaliação (PVEs) nas avaliações individuais dos
respondentes;
As respostas dos colaboradores referentes aos quesitos do questionário aplicado por
ocasião da pesquisa de campo, depois de tabuladas e tratadas pelo software Hiview3,
resultaram nos insumos necessários para o cálculo das avaliações de cada PVF e,
com base nas notas atribuídas, calculou-se a pontuação que representa à avaliação
global.
A avaliação global da qualidade do software SIGA-WEB, sob a percepção dos
usuários, atingiu a pontuação final de 6,7 numa escala de 0 a 10. Nota que
corresponde à agregação das avaliações realizadas nos cinco pontos de vista
considerados como fundamentais na avaliação multicritério da qualidade do software,
conforme entendimento dos decisores que fizeram parte da construção do modelo de
avaliação, e reflete o grau de satisfação dos usuários.
Figura 20 - compilação dos dados brutos da pesquisa de cada respondente em
relação aos PVFs
Fonte: Hiview3
Figura 21 - Compilação dos dados ponderados, de acordo com os pesos de cada
PVF
Fonte: Hiview3
Figura 22 - Avaliação de cada respondente em relação aos PVFs
Fonte: Hiview3
Figura 23 - Contribuição de cada PVF nas avaliações individuais dos respondentes
Fonte: Hiview3
Figura 24 - contribuição de cada critério de avaliação (PVEs) nas avaliações
individuais dos respondentes
Fonte: Hiview3
No Quadro 5, constam as notas, em uma escala de 0 a 10, referentes às avaliações
finais dos cinco PVFs, bem como a avaliação global resultante da ponderação das
notas atribuídas aos critérios, a partir do peso determinado pelos decisores para cada
PVF.
Quadro 5 - Síntese das avaliações dos critérios e da avaliação global
Fonte: Elaboração própria
Apesar das notas constantes do Quadro 5 indicarem ser possível a implementação
de melhorias pontuais em requisitos do Software analisado, ressalta-se que nenhum
PVF foi criticamente avaliado, podendo-se aferir, de forma generalizada, que o
produto é intuitivo, seguro, confiável e agrega qualidade a gestão documental do
Serviço de Inativos e Pensionistas do Exército.
Acertiva que pode ser corroborada pela NBR ISO 9000 (2015), citada anteriormente,
que defenine qualidade como sendo o grau no qual um conjunto de características
inerentes satisfaz aos requisitos, ou seja, se algum produto ou serviço atende aos
requisitos especificados, este mesmo produto ou serviço possui a qualidade
desejada. Ainda, segundo a referida Norma, a qualidade pode ser medida através
do grau de satisfação em que as pessoas avaliam determinado produto ou serviço.
Ainda, corrobora com a avaliação satisfatória do software o citado por Tian (2005)
que disciplina que expectativas de qualidade para sistemas de software estão
centradas nos seguintes aspectos:
Critérios Peso Nota obtida
1.Suportabilidade funcional 19% 7,37
2.Eficiência do desempenho 14% 6,56
3.Confiabilidade 29% 5,79
4.Segurança 21% 7,31
5.Usabilidade 17% 6,79
Avaliação global 100% 6,76
• "O sistema de software deve fazer o que é suposto que se faça. Em outras
palavras, eles devem fazer certo as coisas". (TIAN, 2005, p. 35) e,
• "Eles devem realizar estas tarefas especificas corretamente e
satisfatoriamente. Em outras palavras, eles devem fazer as coisas certas".
(TIAN, 2005, p. 35)
A nota 7,37 atribuída ao PVF 1 – Suportabilidade funcional reflete a capacidade do
software em satisfazer, de forma apropriada, as necessidades dos usuários. Além
disso, indica que a maioria dos usuários estão satisfeitos em relação a capacidade
do software contemplar funcionalidades necessárias ao desenvolvimento de suas
atividades no SvIPEx de forma clara, concisa e sem ambiguidades e, ainda, ser capaz
de auxiliar e facilitar na realização de tarefas. Apenas um respondente atribuiu grau
insatisfatório neste item. A Figura 25 ilustra a avaliação de cada respondente em
relação ao PVF 1.
Figura 25 – Avaliação de cada respondente em relação ao PVF 1.
Fonte: Elaboração própria
O PVF 2 – Eficiência do desempenho - foi satisfatoriamente avaliada pelos usuários,
obteve a nota 6,56. Apenas um respondente atribuiu grau insatisfatório neste item, o
grau de desempenho obtido neste critério de avaliação pode estar relacionado com
a velocidade da internet dedicada ao sistema que afeta o tempo de processamento
das informações requeridas ao software, assim como o pouco tempo de utilização
deste sistema no SvIPEx, situação que afeta sobremaneira no tempo despendido
pelos usuários na realização de tarefas.
41
11
100
71
41 41
100
50
80 8271
100100
6252
82
100
69
100100
80 80
100
50
80
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
PVF 1 - Suportabilidade funcionalPontuações
Respondentes da pesquisa
Figura 26 – Avaliação de cada respondente em relação ao PVF 2
Fonte: Elaboração própria
Quanto ao PVF 3 – Confiabilidade obteve a nota 5,79. Apesar de ter recebido a nota
mais baixa entre os critérios, pode-se considerar um resultado aceitável pelo fato de
a implementação deste software resultar em quebra de paradigmas na gestão
documental do SvIPEx, antes realizada pelos usuários de forma tradicional,
tramitando fisicamente os documentos e processos, agora de forma automatizada,
tramitando eletronicamente com a utilização do software SIGA-SIPWEB.
Espera-se, com o passar do tempo, que a utilização desta ferramenta de TIC angarie
mais confiança por parte dos usuários. A Figura 27 ilustra a avaliação de cada
respondente em relação ao PVF 3.
Figura 27 – Avaliação de cada respondente em relação ao PVF 3.
Fonte: Elaboração própria
65
13
65 65
12
48
100
48
81
48
29
100
65 63
100
63 6781
100100
81
46
100
23
84
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
PVF 2 - Eficiência do desempenhoPontuações
Respondentes da pesquisa
217
4759
27 21
100
5947
72
4559
8773
4557 60
47
87100100
34
100
21
73
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
PVF 3 - ConfiabilidadePontuações
Respondentes da pesquisa
O PVF 4 – Segurança obteve a nota 7,31. Por tratar-se de um software recém
implantado no SvIPEx, considera-se um resultado satisfatório ao demostrar que a
maioria dos usuários respondentes consideraram o software capaz de proteger
informações e dados, onde pessoas ou sistemas não autorizados não podem lê-los
nem os modificar e o acesso às pessoas ou sistemas não autorizados é negado. A
figura 28 ilustra a avaliação de cada respondente em relação ao PVF 4.
Figura 28 – Avaliação de cada respondente em relação ao PVF 4
Fonte: Elaboração própria
Quanto ao PVF 5 – Usabilidade foi avaliado com a nota de 6,79, o que demostra a
capacidade do software, de maneira razoável, ser entendido, aprendido, usado e
atrativo por seus usuários. Contudo, como foi identificado aspecto negativo de
usabilidade na avaliação de alguns respondentes, recomenda-se melhorias com o
objetivo do aperfeiçoamento da ferramenta, com vistas em proporcionar uma melhor
interação entre usuário versus sistema. A Figura 29 ilustra a avaliação de cada
respondente em relação ao PVF 5.
4534
100
64 64
27
100
7582
74
92 90 9284 82 84
65 63 60
100
82
65
100
35
73
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
PVF 4 - SegurançaPontuações
Respondentes da pesquisa
Figura 29 – Avaliação de cada respondente em relação ao PVF 5
Fonte: Elaboração própria
4.7 Aplicação da análise de sensibilidade
Conforme preconizado no subitem 3.5, após realizar o tratamento dos dados
levantados, bem como, terem sido computadas as avaliações dos critérios e a
avaliação global, precedeu-se a análise de sensibilidade do modelo utilizado
aumentando-se e diminuindo-se em 10% as taxas de substituição dos PVFs, com a
finalidade de testar a robustez do modelo.
Para efeito de demonstração, no gráfico de avaliação de sensibilidade, representado
na Figura 30, foram escolhidos aleatoriamente dez respondentes, conforme pode-se
verificar no gráfico com a posição das ações potenciais (respondentes) na linha de
corte da taxa de substituição original de 19% do PVF 1 – Suportabilidade funcional.
79
16
87100
31 28
100
72
43
92
61
92
71
3344
7280
52
7788 92
51
100
46
88
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
PVF 5 - UsabilidadePontuações
Figura 30 - Posição das ações potenciais na linha de corte de 19% do PVF1
Fonte: Hiview3
No gráfico da Figura 31 demonstra-se a posição das ações frente a um incremento de 10% na Taxa de substituição do PVF 1.
Figura 31 - Posição frente a um incremento de 10% na taxa de substituição do PVF 1.
Fonte: Hiview3
No gráfico da Figura 32, demonstra-se a posição das ações após um decréscimo de
10% na Taxa de substituição do PVF 1.
Figura 32 - Posição frente a um decréscimo de 10% na taxa de substituição do PVF
Fonte: Hiview3
O teste realizado com incremento e decréscimo de 10% na taxa de substituição dos
PVFs, indicou que o modelo é robusto, pois não houve variações significativas no
resultado final das avaliações.
Os Gráficos da análise de sensibilidade relativos aos demais PVFs encontram-se no
Anexo 2.
5 CONCLUSÕES E RECOMENDAÇÕES
O projeto PIPEx atendeu o preconizado no manual de boas práticas PMBOK® (2017),
uma vez que foi proposto com fito na elucidação dos fatores abaixo elencados:
• Cumprir requisitos regulatórios e legais (Normas do CONARQ e o Decreto nº
8.539/2015 que dispõe sobre o uso do meio eletrônico para a realização do
processo administrativo no âmbito dos órgãos e das entidades da
administração pública federal);
• Atender necessidades das partes interessadas (celeridade dos processos do
SvIPEx);
• Implementar novas tecnologias (software de gestão eletrônica de documentos
– SIGA-SIPWEB no SvIPEx); e
• Melhorar processos e serviços.(substituir a forma tradicional de tramitação de
processos e documentos pela eletrônica).
A entrega bem sucedida do projeto PIPEx contribuirá para consolidação do Objetivo
Estratégico do Exército Brasileiro nº 13 (Fortalecer a Dimensão Humana ) – Estratégia
13.3 (Adoção de políticas para atender as demandas da inatividade), conforme Plano
Estratégico do Exército Brasileiro (2016-2019).
O software SIGA-SIPWEB foi desenvolvido observando os requisitos que
caracterizam um Sistema Informatizado de Gestão Arquivística de Documentos
(SIGAD).
Um SIGAD é capaz de manter a relação orgânica entre os documentos e de garantir
a confiabilidade, a autenticidade e o acesso, ao longo do tempo, aos documentos
arquivísticos de uma organização, além de incorporar qualidade, tanto as demandas
dos gestores públicos, como aos usuários que o utiliza no desempenho de suas
funções.
Neste trabalho, por meio da utilização de cinco critérios gerais de qualidade buscou-
se avaliar a percepção dos usuários que utilizam o software SIGA-SIPWEB, sendo
eles: suportabilidade funcional, eficiência do desempenho, confiabilidade, segurança
e usabilidade, os quais contribuíram para a avaliação global.
Com a aplicação dos fundamentos da metodologia multicritério de apoio à decisão foi
possível analisar esses critérios e gerar recomendações que possam contribuir para
uma possível melhoria na percepção dos usuários do software SIGA-SIPWEB.
A contribuição deste trabalho consistiu na estruturação de um modelo de avaliação
capaz de dotar os gestores de informações relevantes para auxiliá-los na tomada de
decisão.
De maneira geral, os cinco critérios avaliados na pesquisa obtiveram pontuação que
demonstram que o software, de forma satisfatória, atende as necessidades explícitas
e implícitas para o qual foi concebido, com nível de desempenho adequado, sendo
confiável ao executar suas funções e com capacidade de proteger informações e
dados gerados e recebidos e, ainda, tem um bom grau de facilidade de interação,
permitindo aos seus usuários realizarem, sem dificuldades, suas tarefas.
Entretanto são estes aspectos passíveis de melhorias ao incorporarem as
recomendações oriundas das análises dos resultados das avaliações realizadas
neste trabalho por meio da metodologia multicritério de apoio à decisão.
O critério “suportabilidade funcional”, que está relacionado com o grau de facilidade
na qual o usuário realiza qualquer tarefa no sistema, foi o que obteve a maior
performance. Esta avaliação positiva é proveniente principalmente da capacidade
satisfatória do software de contemplar grande parte das funcionalidades necessárias
ao desenvolvimento das atividades do usuário, de apresentar informações de forma
clara, concisa e sem ambiguidades e de auxiliar e facilitar a realização das tarefas
dos usuários do SvIPEx.
O critério “confiabilidade” foi que apresentou a pior avaliação, é fato que a utilização
de uma ferramenta de TIC, em substituição ao método tradicional de tramitar
documentos, exige uma quebra de paradigmas. Neste critério, infere-se que o fator
cultural teve uma grande influência no resultado devido se tratar de um sistema
inovador e pioneiro no SvIPEx. Neste critério, percebe-se que uma parte considerável
dos usuários apresentam resistência a mudanças, devido à falta de confiança no que
tange à segurança das informações tramitadas no software. Outra preocupação
frequente é a possível dificuldade no manuseio da ferramenta de TIC. Contudo,
espera-se que, quando os usuários superam estas barreiras, sentir-se-ão mais
seguros na utilização do SIGA-SIPWEB.
Uma das vantagens da aplicação da gestão de documentos em uma organização se
dá pela economia do custo operacional. Ela é obtida mediante a racionalização dos
procedimentos de produção, tramitação e destinação final dos documentos e
processos. Além de reduzir custos, aumenta significante a eficiência da organização,
agilizando a recuperação das informações.
O SIGA-SIPWEB, como um sistema eletrônico que permite a produção de
documentos digitais de arquivo, assim como qualquer outro sistema, para incorporar
todos os requisitos de um SIGAD dependerá do empenho dos profissionais e de um
conjunto de ações do dirigente da instituição. Apenas as melhorias tecnológicas
aplicadas nos critérios avaliados neste trabalho, não seriam suficientes para atender
todos os requisitos exigidos pelo e-ARQ Brasil. Assim, faz se necessário ações
colaborativa das instituições que utilizam software de tramitação eletrônica de
documentos para torná-lo cada vez mais aderente ao modelo de requisitos do e-ARQ
Brasil.
Entretanto, para o desenvolvimento de políticas, estratégias e ações que garantam o
acesso a gestão documental e o uso continuado aos documentos digitais em longo
prazo, é desejável que os profissionais de arquivo e as instituições reconheçam a
necessidade de incentivo em boas práticas relacionada ao documento digital, que
criem e divulguem modelos para a implantação de políticas, estratégias e ações que
garantam a autenticidade, a integridade, a confiabilidade e a segurança dos
documentos digitais.
5.1 Limitações do Trabalho
Este trabalho se restringiu em avaliar a qualidade de um software concebido com a
finalidade de implantar no SvIPEx do Exército Brasileiro um sistema de informação e
de gestão documental único e padronizado para todas as Regiões Militares, como
integrantes do SvIPEx, e que seja aderente aos requisitos previstos no e-ARQ Brasil.
5.2 Recomendações para Futuros Trabalhos
Espera-se que esse trabalho contribua como fonte de pesquisa para acadêmicos e
profissionais interessados em conhecer ou ampliar seus conhecimentos acerca da
área de gestão documental e tramitação eletrônica de documentos no Brasil, ao
englobar a sua teoria e prática, e, também, se pretende contribuir para que a
organização fruto desse estudo possa agregar melhorias as funcionalidades do
software de forma a propiciar mais qualidade aos operadores do sistema que são
usuários do software SIGA-SIPWEB. Cabe ressaltar que os objetivos propostos na
parte introdutória deste trabalho foram atingidos e seus resultados foram
evidenciados no decorrer deste trabalho.
Recomenda-se que, após um período mínimo de um ano da implementação das
recomendações realizadas para melhoria da qualidade do software piloto SIGA-
SIPWEB, seja realizada uma nova avaliação deste software com a participação de
usuários do SvIPEx das demais Regiões Militares, com a finalidade de verificar se as
recomendações de melhorias realizadas no software piloto surtiram o efeito almejado.
REFERÊNCIAS
ABNT. NBR ISO/IEC 25010. ABNT NBR ISO 9000:2015. 2015.
ABNT NBR ISO/IEC 25030. ABNT NBR ISO/IEC 25030: 2008. 2008.
ABNT NBR ISO/IEC 9126-1. NBR ISO/IEC 9126-1. 2003.
AMORIM, F. B.; TOMAÉL, M. I. Gestão da informaçao e gestão do conhecimento na prática organizacional: análise de estudos de caso. Revista Digital de Biblioteconomia e Ciência da Informação, v. 8, n. 2, p. 1–22, 2011. Disponível em:
<https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/1931>. .
ARELLANO, M. Á. M.; ARAÚJO, L. M. DE S. Tendências para a gestão e preservação da informação digital. 2017.
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. Abnt Nbr Iso / Iec 25030. 2008.
BANA E COSTA, C. A.; VANSNICK, J. C. Uma nova abordagem ao problema da construção de uma
função de valor cardinal: Macbeth. Investigação Operacional, v. 15, n. Junho, p. 15–35, 1995. Disponível em: <http://web.ist.utl.pt/carlosbana/bin/Uma nova abordagem ao problema....pdf>. .
BASTOS, J.; DUQUIA, R. Um dos delineamentos mais empregados em epidemiologia estudo
transversal One of the most used epidemiological designs cross-sectional study. Scientia Medica, v.
17, n. 4, p. 229–232, 2007.
BRASIL. LEI No 8.159, de 08 de JANEIRO de 1991. 1991.
BRASIL. Lei n. 12.527, de 18 de novembro de 2011. Regula o acesso a informações previsto no
inciso XXXIII do art. 5o, no inciso II do § 3o do art. 37 e no § 2o do art. 216 da Constituição Federal.
Diário Oficial da União, 2011.
BRASIL. 2015.
BRASIL; SENADO FEDERAL. Constituição da República Federativa do Brasil. Cosntituição da República Federativa do Brasil. v. 1, p.496, 1998. Disponível em: <https://www2.senado.leg.
br/bdsf/bitstream/handle/id/518231/CF88_Livro_EC91_2016.pdf?sequence=1>. .
CARVALHO, E. D. S.; MARIA, R.; VASCONCELOS, G. Tratamento e Conversão dos Documentos Digitais : a experiência do Senado Federal. 1993.
COLOMBO, A. C. G. E; THIENNE, R. M. Qualidade de Produto de Software Ana Cervigni Guerra Regina Maria Thienne Colombo. 2009.
CONARQ, B. Diretrizes para a Gestão Arquivística do Correio Eletrônico Corporativo. 2012.
CONSELHO NACIONAL DE ARQUIVOS – CONARQ –. e-ARQ Brasil. 2011a.
CONSELHO NACIONAL DE ARQUIVOS – CONARQ –. e-ARQ Brasil e-ARQ Brasil. In: Conselho
Nacional de Arquivos - CONARQ (Org.); . 2011o ed, 2011b. Disponível em:
<http://www.siga.arquivonacional.gov.br/images/publicacoes/e-arq.pdf>. .
CONSELHO NACIONAL DE ARQUIVOS; CÂMARA TÉCNICA DE DOCUMENTOS ELETRÔNICOS.
Diretrizes para a Implementação de Repositórios Arquivísticos Digitais Confiáveis - RDC-Arq. , p. 25, 2015.
CORDEIRO, A. G.; FREITAS, A. L. P. Priorização de requisitos e avaliação da qualidade de software
segundo a percepção dos usuários. Ci.Inf., v. 40, n. 2, p. 160–179, 2011. Disponível em:
<http://revista.ibict.br/ciinf/index.php/ciinf/article/view/1858/1420>. .
CORNELSEN, J. M.; NELLI, V. J. Gestão Integrada Da Informação Arquivística : Arquivística.net (www.arquivistica.net ), v. v.2, n. 2, n. 1983, p. 70–83, 2006. Disponível em:
<http://simagestao.com.br/wp-content/uploads/2016/04/Gestao-integrada-da-informacao.pdf>. .
ENSSLIN, L.; DUTRA, A.; ENSSLIN, S. R. MCDA: A constructivist approach to the management of human resources at a governmental agency. International Transactions in Operational Research,
v. 7, n. 1, p. 79–100, 2000.
ENSSLIN, L.; GIFFHORN, E.; ENSSLIN, S. R.; PETRI, S. M.; VIANNA, W. B. Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão - construtivistaPesquisa Operacional, 2010.
ENSSLIN, L.; NETO, G. M.; NORONHA, S. M. Apoio á Decisao - Metodologia para estruturação de
problemas e avaliação multicritério de alternativas. Apoio á Decisao, 2001.
EXÉRCITO BRASILEIRO. NEGAPEB. 2013.
EXÉRCITO BRASILEIRO. Plano estratégico do exército 2016-2019. 2016.
FONTENELLES, M. J.; SIMÕES, M. G.; FARIAS, S. H.; FONTENELLES, R. G. S. Metodologia da
pesquisa científica: diretrizes para a elaboração de um protocolo de pesquisa 1. , 2009.
GIANDON, C.; JUNIOR, R. M.; SCHEER, S. Gerenciamento eletrônico de documentos no processo
de projetos de edifícios. Construction, , n. November 2014, p. 5, 2002.
GOMES, F. P.; ARAÚJO, R. M. DE. Pesquisa quanti-qualitativa em Administração : uma visão
holística do objeto em estudo. Seminário em Administração FEA-USP, p. 11, 2005.
INDOLFO, A. C. GESTÃO DE DOCUMENTOS : UMA RENOVAÇÃO EPISTEMOLÓGICA NO
UNIVERSO DA ARQUIVOLOGIA. , p. 28–60, 2007.
International council on archives. .DECLARAÇÃO UNIVERSAL SOBRE OS ARQUIVOS, 2010.
Aprovada na assembléia geral do Conselho Internacional de Arquivos realizada em 17 de setembro
de 2010, durante a 42a CITRA, em Oslo. Tradução para o português acordada entre o Arquivo
Nacional (Brasil) e o Arquivo Nacional da Torre do Tombo (Portugal).
JEAN HARTLEY. Innovation_in_Governance_and_Public_Services-_Past_and_Present. 2005.
KEENEY, R. L.; THINKING, V.-F. A Path to Creative Decisionmaking. Har-vard University Press, Cambridge, Massachusetts, 1992.
KHADDAJ, S.; HORGAN, G. The Evaluation of Software Quality Factors in Very Large Information
Systems. Electronic Journal of Information Systems Evaluation, v. 7, n. 1, p. 43–48, 2004.
Disponível em: <http://www.ejise.com/issue/download.html?idArticle=627>. .
KOSCIANSKI, A.; SOARES, M. DOS S. Qualidade de Software: Aprenda as metodologias e técnicas mais modernas para o desenvolvimento de software. 2005.
LAMPERT, S. R.; FLORES, D. Os Sistemas de workflow em arquivística: a identificação dos modelos e a análise das ferramentas. Perspectivas em Ciência da Informação, v. 15, n. 3, p. 216–232, 2010.
Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-
99362010000300012&lng=pt&tlng=pt>. .
LIMA, E. D. S.; FLORES, D. a Evolução Da Legislação Relacionada À Digitalização E Aos
Documentos Digitais No Âmbito Da Administração Pública Federal. Revista Sociais e Humanas, v.
29, n. 1, p. 75, 2016. Disponível em: <http://periodicos.ufsm.br/sociaisehumanas/article/view/21043>. .
LONGARAY, A. A.; ENSSLIN, L. Uso da MCDA na identificação e mensuração da performance dos critérios para a certificação dos hospitais de ensino no âmbito do SUS. Production, v. 24, n. 1, p. 41–
56, 2013.
MARCONII, M.; LAKATOS, E. Fundamentos de metodologia científica. 2003.
MINISTÉRIO DA CIÊNCIA E TECNOLOGIA. Sociedade da Informação no Brasil - Livro Verde /organizado por Tadao Takahashi. 2000.
NACIONAL, A. Dicionário de terminologia arquivística. 2005.
NBR ISO / IEC 12207. NBR ISO / IEC 12207. 1998.
NUNES, G. C.; NASCIMENTO, M. C. D.; ALENCAR, M. A. C. DE. Pesquisa científica: conceitos básicos. ID on line REVISTA DE PSICOLOGIA, v. 10, n. 1, p. 144, 2016.
PMBOK®. Um Guia do Conhecimento em Gestão de Projetos. 2017.
QUIRINO, M. G. A incorporação das relações de subordinação na matriz de ordenação – Roberts em
MCDA quando os axiomas de assimetria e transitividade negativa são violados. Tese Ufsc, p. 574,
2002.
RINALDO MACEDO DE, M.; ANDRÉ LUCIRTON, C. Um modelo para avaliação de sistemas de
informação do SUS de abrangência nacional: o processo de seleção e estruturação de indicadores.
Revista de Administração Pública, v. 48, n. 3, p. 767–793, 2014. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-76122014000300011&lang=pt>. .
RODRIGUES, E. C. C. Metodologia Para Investigação Da Percepção Das Inovações Na Usabilidade Do Sistema Metroviário – Uma Abordagem Antropotecnológica, 2014.
SANTOS, V. B. DOS. Preservação de documentos arquivísticos digitais., 2012.
SILVEIRA JR., A. AVALIAÇÃO DAS CONDIÇÕES DE OPERAÇÃO DO TRANSPORTE DE CARGA POR CABOTAGEM NO BRASIL, COM BASE NA METODOLOGIA MULTICRITÉRIO DE APOIO À DECISÃOTESE UNB, 2016.
TIAN. Overview and Basics. Hoboken, NJ, USA: John Wiley & Sons, Inc., 2005.
UNESCO. Carta para a preservação do patrimônistico digital arquivístico. Carta para a preservação
do patrimônistico digital arquivístico. Anais... . p.24, 2005.
VIANA, I. A.; TAVARES, A. T. P. J. E R. A. GESTÃO DOCUMENTAL: O USO DA PRÁTICA E DA
ESTRATÉGIA TECNOLÓGICA. Revista Expectativa, v. XIII, p. 105–119, 2014.
ZANELLA, L. C. H. Metodologia de Estudo e de Pesquisa em Administração. 2009.
APÊNDICE
Questionário
Queremos vê-lo satisfeito!
Mas, para isso, precisamos de sua ajuda. Por favor, dedique 5 minutos do seu tempo para preencher este formulário de avaliação da qualidade do Sistema SIGA-SIPWEB. O objetivo é avaliar os seguintes critérios: suportabilidade funcional, desempenho, confiabilidade, segurança e usabilidade. Considerando a sua experiência no Serviço de Inativos e Pensionistas, qual sua percepção a qualidade dos itens abaixo?
1. Suportabilidade funcional do sistema: capacidade em prover funções
para atender a necessidades explícitas e implícitas para as quais foi
concebido.
1.1 Completeza Funcional: o sistema contempla todas as
funcionalidades necessárias ao desenvolvimento de suas
atividades?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
1.2 Correção Funcional: o sistema consegue apresentar informações
de forma clara, concisa e sem ambiguidades?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
1.3 Adequação Funcional o sistema consegue auxiliar e facilitar a
realização de suas tarefas?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
2. Eficiência do Desempenho: capacidade do sistema manter um nível de
desempenho adequado.
2.1 Tempo de Resposta: tempo de processamento das informações
requeridas ao sistema (exemplos: preenchimento de campos de
formulários e de dados automaticamente pelo sistema)?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
2.2 Velocidade de execução de tarefas: tempo despendido na
realização das suas tarefas no sistema (exemplos: abertura de
processos, captura de documentos, tramitação de processos e
produção dos documentos)?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
3. Confiabilidade: capacidade do sistema executar suas funções de modo
contínuo.
3.1 Disponibilidade: capacidade do sistema manter-se operacional e
acessível ao ser requerido para consultas em base de dados on-line
(servidores de rede e servidores de páginas web) e para acesso aos
documentos e processos?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
3.2 Recuperabilidade: capacidade do sistema, em caso de falhas ou
interrupções no funcionamento, recuperar dados e informações
perdidas?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
3.3 Correção de Erros: meios proporcionados pelo sistema para
corrigir, de forma fácil e imediata, eventuais erros cometidos durante
a execução de suas atividades no sistema?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
4. Segurança: capacidade do sistema de proteger informações e dados.
4.1 Confidencialidade: capacidade do sistema de garantir que os
dados/documentos recebidos e produzidos estejam acessíveis
apenas para os usuários credenciados?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
4.2 Integridade: capacidade do sistema de garantir a integridade dos
documentos recebidos e produzidos, não permitindo qualquer tipo
de modificação?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
4.3 Responsabilização: funcionalidade do sistema que permite rastrear
e auditar, por meio de relatórios, tanto os acessos quanto as
operações dos usuários?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
4.4 Autenticação: o acesso ao sistema fica condicionado a validação
prévia da identidade do usuário?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
5. Usabilidade: grau de facilidade na qual o usuário realiza qualquer tarefa
no sistema.
5.1 Facilidade de aprendizado: facilidade de aprender as
funcionalidades disponíveis no sistema?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
5.2 Facilidade de operação: facilidade de operar as funcionalidades
disponíveis no sistema?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
5.3 Interface do usuário: o layout da tela do sistema (sequência das
informações, alinhamento, espaçamento, visualização, cores,
tamanho dos caracteres e entendimento dos comandos/funções)?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
5.4 Feedback do sistema: coerência e consistências das respostas
fornecidas pelo sistema às ações por você requeridas?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
5.5 Controle do Usuário: funcionalidades que permitem a você o
controle do processamento das operações requeridas ao sistema
(mecanismos de interrupção, cancelamento, suspensão ou
continuação de operações)?
Excelente.........( ) Muito Bom........( ) Bom..................( ) Regular.............( ) Ruim.................( )
Anexo A – Matrizes de Julgamento Semânticas
Anexo B – Gráficos da análise de sensibilidade
PVF 1 – Peso original
PVF 1 (+10%)
PVF 1 (-10%)
PVF 2 – Peso original
PVF 2 (+10%)
PVF 2 (-10%)
PVF 3 – Peso original
PVF 3 (+10%)
PVF 3 (-10%)
PVF 4 – Peso original
PVF 4 (+10%)
PVF 4 (-10%)
PVF 5 – Peso original
PVF 5 (+10%)
PVF 5 (-10%)
