Embed Size (px)
Citation preview
Tiago José Martins Fernandes
Instrumento para avaliação da
satisfação do cidadão com o
desenvolvimento do E-Government
Pré-Dissertação de Mestrado Mestrado integrado em Engenharia e Gestão de
Sistemas de Informação
Trabalho efetuado sob a orientação de Professor João Álvaro Carvalho Professora Delfina Sá Soares
Janeiro 2018
ii
iii
Resumo
O EGDI, E-Government Development Index, é um índice pulicado pela ONU desde 2011 que
mostra o nível de desenvolvimento do EGOV nos 193 Estados-Membros das Nações Unidas. Este
índice permite aos países fazer o benchmarking e identificar boas práticas para o
desenvolvimento do E-Government, no entanto este é fortemente criticado, tal como outras
ferramentas utilizadas para avaliar o desenvolvimento do E-Government, por não incluir no seu
cálculo a perceção, o nível de utilização ou o nível de satisfação dos cidadãos com o E-
Government. Com este projeto pretende-se contribuir para a mitigação deste problema e criar
um instrumento que não leve em consideração apenas o lado da oferta, mas também o lado do
cidadão utilizador dos serviços do E-Government.
Esta dissertação será desenvolvida no âmbito da investigação na área do E-Government que
está a ser conduzida na UNU-EGOV e no Departamento de Sistemas de Informação da
Universidade do Minho. O principal objetivo deste trabalho é a criação de um instrumento para
avaliação da satisfação dos cidadãos com o desenvolvimento do E-Government, sendo que para
isso será necessário identificar os principais fatores que permitem a avaliação da satisfação e
definir os indicadores e métricas que permitem aferir o valor de cada um desses fatores.
Neste documento é feita uma contextualização do projeto a desenvolver, bem como uma
descrição dos objetivos e resultados esperados com o desenvolvimento do mesmo. Também foi
feita uma análise ao estado da arte, relativamente aos conceitos abordados no projeto. Por fim,
é apresentado a metodologia utilizada para o desenvolvimento do projeto e o planeamento do
mesmo.
iv
Abstract
The EGDI, E-Government Development Index, is an index published by ONU since 2011 that
shows the level of development of E-Government in 193 Members of United Nations. This index
allows the different countries to create the benchmarking and identify the good practices to
promote the development of E-Government, however this is heavily criticized, as well as other
tools used to evaluate the development of E-Government because they don’t include on their
method the perception, level of operation or the satisfaction of the citizens with E-Government.
In this project I plan to promote the mitigation of this problem and develop an instrument which
comprise not only the side of the offer but also the citizenship as a user of the E-Government
services.
This dissertation will be developed in the scope of the E-Government investigation which
will be conducted in the UNU-EGOV and the Department of the Information Systems within the
University of Minho. The main objective of this project is the creation of an instrument that
allows the evaluation of the citizenship satisfaction with the development of E-Government. To
create this instrument, it will be detrimental to identify the main factors that can measure the
citizenship satisfaction and define the indicators and metrics which can enable the evaluation
and define the value of each one of these factors.
In this document I develop the contextualization of this project, as well as the definition of
objectives fan the expected results within this research. This document will also present a state
of art in relation to the concepts reported during this project. Ultimately, it will be presented
the methodology used to the development and planning of the project.
v
Índice
Resumo ..................................................................................................................................... iii
Abstract .....................................................................................................................................iv
Lista de Figuras ..........................................................................................................................vi
Lista de Tabelas ........................................................................................................................ vii
Lista de Abreviaturas, Siglas e Acrónimos ............................................................................... viii
1. Contextualização ................................................................................................................... 1
1.1 Enquadramento e Motivação .......................................................................................... 1
1.2 Objetivos ......................................................................................................................... 1
1.4 Estrutura do Documento ................................................................................................. 2
2. Revisão de Literatura............................................................................................................. 3
2.1 Processo de Pesquisa ...................................................................................................... 3
2.2 Satisfação ........................................................................................................................ 4
2.2.1 Definição ...................................................................................................................... 4
2.2.2 Importância da Satisfação ............................................................................................ 6
2.2.3 Medição da Satisfação.................................................................................................. 7
2.2.4 Satisfação dos Cidadãos e o E-Government ............................................................... 10
3. Abordagem Metodológica .................................................................................................. 19
3.1 Design Science Research ............................................................................................... 19
4. Plano de Atividades ............................................................................................................. 22
4.1 Planeamento ................................................................................................................. 22
4.2 Diagrama de Gantt ........................................................................................................ 23
4.3 Análise de Riscos ........................................................................................................... 24
5. Conclusão ............................................................................................................................ 25
6. Referências .......................................................................................................................... 26
vi
Lista de Figuras
Figura 1- Modelo da Não Confirmação ......................................................................................... 4
Figura 2- Expectativa do Cliente para o Serviço ............................................................................ 5
Figura 3- Expectativas do cidadão para com o E-Government ................................................... 11
Figura 4- Modelo conceptual ...................................................................................................... 12
Figura 5- Fases DSRM .................................................................................................................. 20
Figura 6- Calendarização ............................................................................................................. 22
vii
Lista de Tabelas
Tabela 1- Determinantes e escalas de diferentes instrumentos .................................................. 8
Tabela 2- Problemas identificados na formulação de questões ................................................... 9
Tabela 3- Lista de Indicadores ..................................................................................................... 14
Tabela 4- Instrumento reduzido de avaliação ............................................................................. 15
Tabela 5- Determinantes da E-Satisfaction ................................................................................. 16
Tabela 6- Análise de fatores ........................................................................................................ 17
Tabela 7- Lista de Riscos .............................................................................................................. 24
viii
Lista de Abreviaturas, Siglas e Acrónimos
E-Government- Electronic Government
E-Satisfaction- Electronic Satisfaction
ACSI- American Customer Satisfaction Index
ECSI- European Customer Satisfaction Index
DSRM- Design Science Research Methodology
1
1. Contextualização
Neste capítulo é feita uma contextualização do projeto a ser desenvolvido no futuro. Este
capítulo compreende o enquadramento e a motivação, os objetivos do projeto e a estrutura do
mesmo.
1.1 Enquadramento e Motivação
O E-Government consiste na utilização das tecnologias de informação e comunicação para
melhorar o processo de governação (Jackson & Curthoys, 2001). Esta forma de governação
permite que os governos tirem o máximo proveito das tecnologias de informação e comunicação
e, principalmente, da internet para fornecer serviços públicos, de forma a que os cidadãos
consigam aceder aos mesmos a qualquer hora e em qualquer local (Karim, 2003).
Os serviços do E-Government foram inicialmente bastante criticados pelo facto do seu
desenvolvimento ter sido guiado pelo lado da oferta e por aquilo que as tecnologias eram
capazes de fazer, em vez de ter sido guiado pelas necessidades dos utilizadores desses mesmos
serviços (Heeks & Bailur, 2007; Jaeger & Thompson, 2003; Titah Barki, H., 2005). Hoje em dia, o
desenvolvimento destes serviços já é mais centrado nos utilizadores, sendo, portanto,
necessário um extenso estudo das necessidades e expectativas dos utilizadores do serviço
(Bertot & Jaeger, 2006; Ebbers, Pieterson, & Noordman, 2008; Kunstelj, Jukic, & Vintar, 2007;
Reddick, 2005; Schedler & Summermatter, 2007).
Este projeto será desenvolvido no âmbito da investigação na área do E-Government que
está a ser conduzida na UNU-EGOV e no Departamento de Sistemas de Informação da
Universidade do Minho e tem como principal objetivo determinar se as necessidades e as
expectativas dos clientes estão a ser tomadas em conta no desenvolvimento do E-Government,
a partir da criação de um instrumento que permita a avaliação da satisfação do cidadão com o
desenvolvimento do E-Government.
A principal motivação que me levou à escolha deste projeto foi a possibilidade de contribuir
para a criação de uma ferramenta que permita a avaliação da satisfação dos cidadãos com o E-
Government, sendo que este facto é crucial para perceber se o desenvolvimento e
melhoramento nesta área está a ser bem ou malsucedido.
1.2 Objetivos
Os principais objetivos da realização deste trabalho são os seguintes:
• Proposta de um modelo/lista dos fatores determinantes da satisfação dos cidadãos
com o nível de desenvolvimento do E-Government;
2
• Definição de indicadores e métricas para aferir o valor de cada um desses fatores;
• Criação do instrumento para avaliação da satisfação do cidadão com o
desenvolvimento do E-Government;
• Definição do procedimento de utilização do instrumento.
O cumprimento de todos estes objetivos é fulcral para o alcance do principal objetivo que é
a criação do instrumento para avaliação da satisfação do cidadão com o desenvolvimento do E-
Government.
1.4 Estrutura do Documento
Este documento encontra-se dividido em 6 capítulos, sendo eles o seguinte:
1. Contextualização- neste capítulo introduzimos o tema do projeto, o enquadramento
e a motivação para a escolha do mesmo;
2. Revisão de literatura- é apresentado o estado da arte de todos os temas e áreas no
qual este projeto se encontra inserido. Neste capítulo pretende-se introduzir todos
os conceitos que serão úteis para o entendimento do projeto;
3. Abordagens metodológicas- é efetuada a descrição das metodologias utilizadas para
a elaboração do projeto;
4. Plano de atividades- fornece uma descrição e explicação das tarefas realizadas e por
realizar para a realização do projeto;
5. Conclusão- comentários finais após a revisão de literatura;
6. Referências- contém todas as referências bibliográficas para a realização deste
projeto.
3
2. Revisão de Literatura
Neste capítulo é apresentado o ponto de situação do estado de arte desde os conceitos mais
importante, aos projetos já desenvolvidos nesta área, bem como a estratégia de pesquisa
utilizada para a realização desta revisão.
2.1 Processo de Pesquisa
Nesta primeira etapa do projeto é necessário compreender os conceitos associados ao
projeto, bem como os projetos mais significantes que já foram produzidos nesta área.
O processo de pesquisa iniciou-se com a procura de artigos científicos, jornais e outros, de
forma a compreender todos os conceitos necessários para o desenvolvimento e entendimento
do projeto desenvolvido. Este processo de pesquisa foi realizado a partir de várias plataformas,
sendo que as mais utilizadas foram as seguintes:
• Google (https://www.google.pt/);
• Google Scholar (https://scholar.google.pt/);
• Research Gate (https://www.researchgate.net);
• Science Direct (http://www.sciencedirect.com/);
As palavras utilizadas para a pesquisa foram várias, destacando-se as seguintes:
• E-Government;
• E-Service;
• User satisfaction;
• Measurement of satisfaction;
• E-Satisfaction.
O ponto de partida para a seleção dos artigos e dos jornais foi a leitura dos abstract dos
mesmos, de forma a tentar perceber o que se abordava e o que continha cada artigo e,
consequentemente, perceber se esse artigo se enquadrava no trabalho a desenvolver. A leitura
do abstract por vezes não era conclusiva, pelo que era necessária uma leitura mais aprofundada.
4
2.2 Satisfação
Nesta parte do trabalho irei dar a conhecer a definição de satisfação, a importância da
mesma, a forma como esta deve ser medida e, por fim, irei procurar fazer a ligação entre a
satisfação e o E-Government.
2.2.1 Definição
A satisfação dos utilizadores é uma matéria bastante estudada, existindo um basto número
de estudos feitos acerca da mesma.
A satisfação do cliente é o resultado da comparação entre as expectativas que o mesmo tem
sobre o produto ou serviço e o real desempenho do produto ou serviço (Oliver, 1980). Oliver
explicou essa comparação a partir do Modelo da Não Confirmação (figura 1), que compreende
três resultados para essa comparação:
• A confirmação, que ocorre quando a perceção do desempenho é similar às
expectativas do utilizador, levando a um sentimento neutro;
• A não confirmação positiva, que ocorre quando a perceção do desempenho é
superior às expectativas do utilizador, levando à satisfação;
• A não confirmação negativa, que ocorre quando a perceção do desempenho é
inferior às expectativas do utilizador, levando à insatisfação.
Figura 1- Modelo da Não Confirmação
5
Segundo este modelo, a perceção do desempenho e as expectativas desempenham um
papel preponderante na satisfação e o resultado da combinação destes dois fatores permite
determinar o nível de satisfação do cliente (Oliver, 1980).
Para além de Oliver, muitos outros autores apresentam definições em que as expectativas
representam um papel preponderante na satisfação, sendo que destaco as seguintes definições:
• A satisfação depende das expectativas que um cliente tem para um produto ou
serviço, sendo que a satisfação será elevada se as expectativas forem cumpridas ou
vice-versa (MORI Social Research Institute, 2002).
• A satisfação do utilizador pode ser vista como a diferença entre as qualidades
identificadas e as qualidades expectadas (Papadomichelaki & Mentzas, 2009).
Admitindo que o nível de satisfação do cliente irá depender das suas expectativas, é
importante perceber como é que estas se formam e são influenciadas. As expectativas do cliente
são formadas e influenciadas por um conjunto de fatores (figura 2), sendo eles as necessidades
pessoais do cliente, as experiências anteriores, a comunicação boca-a-boca, a comunicação de
serviço implícita e a comunicação de serviço explícita (Berry, Parasuraman, & Zeithaml, 1990).
Figura 2- Expectativa do Cliente para o Serviço
• Necessidades pessoais: qualquer cliente terá um conjunto de necessidades pessoais
às quais ele espera que o serviço atenda. Uma compreensão inadequada pelo
serviço dessas necessidades pessoais tornará difícil projetar um serviço apropriado.
• Experiências anteriores: um cliente repetido poderá ter baixas expectativas devido
a um mau serviço anterior ou altas expectativas devido a um bom serviço anterior.
6
• Comunicação boca-a-boca: os clientes terão as expectativas moldadas devido aquilo
que ouvem sobre o serviço e o provedor de serviços. Isto está relacionado com o
que os clientes ouvem por outras fontes diferentes do provedor de serviços, tais
como amigos, media, família, entre outros.
• Comunicação de serviço explícita: referem-se a declarações sobre o serviço criado
pelo próprio serviço. Estas declarações podem ser feitas por empregados,
assistentes ou então sob a forma de material de marketing, como folhetos, entre
outros.
• Comunicação de serviço implícita: pode levar o cliente a fazer inferências sobre um
serviço.
Em suma, podemos concluir que a satisfação de um cliente está dependente das
expectativas que esse cliente cria para o produto ou serviço, sendo que essas expectativas são
formadas e influenciadas por um conjunto de vários fatores.
2.2.2 Importância da Satisfação
A importância da satisfação e os impactos da mesma podem ser descritos em ordem ao
consumidor ou em ordem à organização (Sousa, 2011).
Do ponto de vista do consumidor, o principal efeito da satisfação do cliente é a possibilidade
de este voltar a comprar o produto ou voltar a usufruir do serviço prestado. A possibilidade de
recompra em resposta a um nível de satisfação do cliente, pode ser resumida a partir das
seguintes afirmações:
• Quanto maior for a satisfação do cliente, maior será a possibilidade de voltar a
comprar ou usufruir de um produto ou serviço (Somasundaram & Diego, 1993).
• A satisfação é essencial para repetir experiências de compra ou consumo
(Westbrook & Oliver, 1991).
Apesar da possibilidade de recompra ser um dos principais efeitos da satisfação do cliente,
a satisfação também afeta os afetos do cliente, o que resultará num conjunto de
comportamentos futuros, como a fidelização, a comunicação boca-a-boca e a confiança para
aquisição de outros produtos da organização (Oliver, 1980).
Do ponto de vista da organização, podemos concluir que o nível de satisfação dos seus
clientes (sabendo que deste nível de satisfação podem surgir intenções de recompra e outros
comportamentos) é essencial para garantir a viabilidade e sustentabilidade da organização. Os
7
principais efeitos da satisfação dos clientes numa organização estão apresentados nas seguintes
afirmações:
• Manter os clientes satisfeitos favorece a lealdade face ao serviço, produto ou marca,
uma vez que os clientes estão predispostos a repetir a experiência de aquisição de
um produto ou serviço, a adquirir esses produtos ou serviços com maior frequência
e a adquirir outros produtos e serviços oferecidos pela mesma organização. Com
tudo isto, a organização irá ter menos custos comerciais/promocionais, uma vez que
envolverá menos esforços e gastos promover a venda a clientes satisfeitos (Fornell,
1992).
• A fidelização dos clientes é um aspeto crítico para os fornecedores de serviços e
produtos, uma vez que a retenção de clientes é mais desejável e menos dispendiosa
que a procura de novos clientes (Thomas, 2001).
Com a análise destas afirmações podemos concluir que as organizações devem lutar por
manter os seus clientes satisfeitos, uma vez que da satisfação dos mesmos surgem vários
benefícios para a organização, como, por exemplo, a publicidade gratuita, a retenção de clientes
e a diminuição dos gastos comercias.
Por fim, podemos concluir que a satisfação do cliente representa um papel bastante
importante nas intenções futuras de recompra e também nos comportamentos do mesmo para
com a organização, sendo que estas intenções e comportamentos também irão influenciar a
organização, permitindo, ou não, que esta alcance os objetivos estratégicos e económicos da
mesma.
2.2.3 Medição da Satisfação
A satisfação só pode ser medida durante ou após o uso de um produto ou serviço, uma vez
que é impossível saber se as expectativas do utilizador foram cumpridas, ou não, sem antes o
experimentar (Muylle, Moenaert, & Despontin, 2004).
Esta medição tem dois objetivos principais que são a recolha de informação e a interação
com o cliente, sendo que a recolha de informação irá permitir conhecer as necessidades a serem
satisfeitas para um determinado cliente e a interação com o cliente permitirá aferir se a
organização está, ou não, a corresponder a essas necessidades (Vavra, 1993).
Os estudos sobre a medição da satisfação são caracterizados em grande parte pela falta de
uma definição metodológica, o que leva a que haja diferenças nos conteúdos que vão ser
8
medidos, na natureza da escala de medição e no desenho da investigação empírica (Peterson &
Wilson, 1992).
Com o objetivo de demonstrar a complexidade da medição da satisfação e comprovar as
diferenças evidenciadas por Peterson e Wilson, de seguida é apresentada uma tabela com vários
instrumentos de medição de satisfação, os determinantes levados em conta em cada um deles
e as escalas utilizadas para medição desses determinantes.
Instrumento Determinantes Escala utilizada
ECSI- European Customer
Satisfaction Index
Qualidade percecionada, valor
percecionado, expectativas do cliente
e imagem da empresa
Escala de 1 a 10
(igual ou menor a 4- avaliação negativa, entre 4 a 6-
avaliação neutra, entre 6 a 8-avaliação positiva e maior
que 8- avaliação muito positiva)
ACSI- American Customer
Satisfaction Index
Qualidade percecionado, valor
percecionado e expectativas do
cliente
Escala de 1 a 10
(esta é utilizada para medir três variáveis:
Satisfação geral- 1 representa muita insatisfação e o 10
muita satisfação;
Não confirmação das expectativas- 1 significa que ficou
aquém das expectativas do cliente e 10 significa que
excedeu as expectativas;
Comparação ao ideal- 1 significa que não ficou nada
perto do ideal e o 10 significa que ficou muito perto do
ideal)
Instrumento para Medir a
Satisfação dos
Profissionais de Saúde na
África Subsariana
(Faye et al., 2013)
Educação contínua, tarefas, carga de
trabalho, estabilidade do trabalho,
ambiente do trabalho e satisfação
moral
Escala de 5 pontos
(muito satisfeito, satisfeito, um tanto satisfeito,
insatisfeito e muito insatisfeito)
Tabela 1- Determinantes e escalas de diferentes instrumentos
Como podemos ver na tabela 1, os determinantes e as escalas utilizadas para medição da
satisfação variam de instrumento para instrumento, o que comprova o que foi referido por
Peterson e Wilson.
A definição dos determinantes essenciais para a medição da satisfação envolve um conjunto
de oito tarefas (Dutka, 1994).Essas tarefas foram também identificadas por Dutka em 1994,
sendo elas as seguintes:
1. Realizar entrevistas com os funcionários;
2. Analisar medidas indiretas de satisfação do cliente;
3. Realizar uma pesquisa qualitativa para determinar as necessidades e expectativas
dos clientes;
9
4. Realizar uma pesquisa quantitativa para solidificar a pesquisa qualitativa
previamente realizada;
5. Analisar os resultados obtidos;
6. Apresentar os resultados à organização;
7. Finalizar a definição dos determinantes essenciais;
8. Obter o compromisso dos empregados da organização.
Após a finalização destes oito passos e, consequentemente, da definição dos determinantes
para medição da satisfação, o autor diz-nos que devemos passar para a fase em que
desenvolvemos e implementamos o questionário que irá permitir avaliar os determinantes
definidos. Nesta fase, o autor explica-nos, entre outras coisas, como as questões do questionário
devem ser formuladas e as escalas que devem ser utilizadas para a medição das mesmas. No
que diz respeito à formulação das perguntas, são mostrados exemplos de perguntas mal
formuladas e quais os problemas das mesmas, como podemos ver na tabela 2.
Questão Problemas identificados
Como era a qualidade da comida/bebida?
Uma questão nunca pode avaliar dois fatores distintos,
uma vez que, no caso em questão, a comida pode ser
boa e a bebida não. Isto vai fazer com que o inquirido
ignore a pergunta ou a divida em duas partes e
adicione informações noutro local do questionário.
Diria que a equipa de ajuda ao cliente está sempre,
quase sempre, algumas vezes, quase nunca ou nunca
disposta a ajudar o cliente?
O atributo do desempenho não deve ser mencionado
em último lugar, pois o inquirido terá dificuldade em
reconhecer o objetivo da questão.
Razão para ligar ao serviço do cliente?
As declarações incompletas devem ser evitadas, sendo
que esta deve ser alterada para que possa ser
respondida. Uma versão melhorada desta pergunta é a
seguinte: “Qual foi a razão para a sua última chamada
para o serviço do cliente?”
a. Quão satisfeito está com a disponibilidade de
informações sobre reivindicações médicas?
b. Quão satisfeito está com o facto de a empresa o
manter atualizado sobre o estado de uma
reivindicação médica?
Vários investigadores demonstraram que os níveis de
satisfação são mais baixos quando as perguntas são
redigidas de uma forma ativa, como na segunda
opção, do que quando são redigidas de uma forma
mais passiva, como na primeira opção.
Tabela 2- Problemas identificados na formulação de questões
No que diz respeito às escalas, Dutka diz-nos que diferentes escalas podem ser usadas no
mesmo questionário para avaliar diferentes perguntas, sendo que essas escalas podem ser de:
• Cinco pontos, se o pretendido for avaliar respostas envolvendo opiniões e atitudes,
em vez de factos;
10
• Três pontos, se as questões forem relacionadas com requisitos específicos de
desempenho;
• Sete a dez pontos;
• Ter um número par, se quisermos obrigar os inquiridos a tomar uma posição positiva
ou negativa, ignorando o ponto neutro central.
O autor também afirma que o facto de uma escala ter mais ou menos pontos pode não
influenciar a precisão da medição, se o inquirido não for capaz de distinguir ou diferenciar as
diferentes alternativas.
Com tudo o que foi apresentado, podemos concluir que a medição da satisfação é bastante
complexa, sendo que para conseguir realizar essa medição é necessário definir os determinantes
essenciais para a medição da satisfação e desenvolver um questionário capaz de avaliar esses
mesmos determinantes.
2.2.4 Satisfação dos Cidadãos e o E-Government
Definição de E-Satisfaction
A satisfação dos cidadãos para com o E-Government é vista como a E-Satisfaction, sendo
que nos artigos estudados sobre esta matéria, são usadas algumas das definições já
mencionadas anteriormente para definir a E-Satisfaction, tais como:
• A satisfação depende das expectativas que um cliente tem para um produto ou
serviço, sendo que a satisfação será elevada se as expectativas forem cumpridas ou
vice-versa (MORI Social Research Institute, 2002);
• A satisfação do cliente é o resultado da comparação entre as expectativas que o
mesmo tem sobre o produto ou serviço e o real desempenho do produto ou serviço
(Oliver, 1980).
Apesar das definições serem iguais às já apresentadas anteriormente, Mori acredita que
existem mais dois fatores que influenciam as expectativas do cidadão para com o EGOV (figura
3), para além dos definidos anteriormente por Parasuraman (figura 2). Esses dois fatores são os
seguintes:
• Valores/Crenças: está relacionado com a visão que as pessoas têm sobre o papel
dos serviços públicos, refletindo sobre o seu duplo papel como clientes e como
cidadãos (MORI Social Research Institute, 2002);
• Opinião do cidadão sobre o governo e as suas políticas: a perceção pública da
honestidade e integridade do seu governo irá afetar a avaliação dos serviços
11
prestados por esse mesmo governo (Zussman, citado por MORI Social Research
Institute, 2002).
Em suma, podemos concluir que a E-Satisfaction está dependente da perceção que o
cidadão tem sobre o cumprimento, ou não cumprimento, das expectativas que o mesmo tem
para o serviço, sendo que estas expectativas são influenciadas por um conjunto de vários
fatores.
Importância da E-Satisfaction
A importância da E-Satisfaction na adoção dos serviços prestados pelo E-Government é um
assunto abordado por vários autores que nos dizem que:
• A satisfação dos cidadãos com os serviços prestados pelo EGOV tem uma influência
vital para a adoção desses serviços a uma grande escala (Osman et al., 2014);
• A satisfação do cidadão pode ter um impacto na decisão do cidadão voltar a usar ou
não um serviço do E-Government (Verdegem & Verleye, 2009);
• A satisfação dos cidadãos é um elemento essencial para a sustentabilidade e
viabilidade dos serviços do E-Government (Irani, Sivarajah, Molnar, & Lee, 2014);
• A satisfação dos cidadãos é um aspeto importante a ser avaliado e levado em
consideração para o melhoramento de serviços do E-Government existentes e na
projeção de novos serviços (Irani et al., 2014).
Com tudo isto podemos concluir que a E-Satisfaction representa um papel bastante
importante na adoção dos serviços prestados pelo E-Government, bem como no melhoramento
Figura 3- Expectativas do cidadão para com o E-Government
12
dos serviços existentes e na projeção de novos. Para além disto, e como vimos anteriormente,
a satisfação também irá influenciar a opinião que o cidadão desenvolve sobre os serviços e,
consequentemente, poderá levar a um aconselhamento ou desaconselhamento para a
utilização dos serviços, o que também irá influenciar a adoção dos mesmos.
Medição da E-Satisfaction
A E-Satisfaction bem como a sua medição tem sido um assunto bastante abordado por
diferentes autores. Tal como referido anteriormente, não existe um conjunto de fatores
tomados como certos para a avaliação da satisfação, nem uma escala certa para a medição
desses fatores, o que também acontece no caso da E-Satisfaction. Dos vários artigos estudados
decidi evidenciar o artigo levado a cabo por Verdegem & Verleye em 2009 e o artigo realizado
por Alawneh, Al-Refai, & Batiha em 2013, de forma a mostrar algumas das diferenças existentes
na medição da E-Satisfaction.
No caso do estudo levado a cabo por Verdegem & Verleye, os autores tinham como principal
objetivo desenvolver um modelo de avaliação da satisfação do utilizador com os serviços
fornecidos pelo E-Government, sendo que este foi testado usando dados de cinco websites do
governo de uma região da Bélgica. Inicialmente, estes autores fizeram uma revisão alargada da
literatura e adaptaram um modelo para avaliação da aceitação do E-Government, criando um
modelo conceptual (figura 4) que serviria de base para a medição da satisfação dos cidadãos
com o E-Government.
Figura 4- Modelo conceptual
Este modelo, como podemos ver na figura 4, compreende a existência de vários passos para se
poder chegar à medição da E-Satisfaction, sendo eles os seguintes:
13
• Reações dos indivíduos para o uso dos serviços do E-Government;
• Consciência dos serviços do E-Government: o cidadão deve ter conhecimento dos
serviços existentes antes de desenvolver a intenção de usar o mesmo. Se os
utilizadores não tiverem conhecimento dos serviços existentes, estes não irão
desenvolver intenções de usar os mesmos, ainda que estes possam trazer benefícios
para eles;
• Intenções de usar os serviços do E-Government: o utilizador irá desenvolver a
intenção de usar o serviço se considerar que o uso do mesmo é benéfico para si. A
usabilidade e a facilidade em usar o serviço têm um impacto decisivo nas intenções
de usar o serviço.
• Aceder aos serviços do E-Government: após o conhecimento do serviço e a positiva
avaliação da utilidade do serviço (resultante da intenção de usar o serviço), o
utilizador procurará obter acesso ao serviço;
• Usar os serviços do E-Government: este uso irá acontecer após o utilizador
desenvolver intenções de usar o serviço e obter acesso a esse mesmo serviço;
• Satisfação do utilizador com o serviço do E-Government: este é o último passo do
modelo em que se procura perceber a satisfação do utilizador com o serviço. A
medição da satisfação deve ser realizada após ou durante o uso do serviço, o que
não significa que deva parar por aqui.
Após definir o modelo que permitiria aceder à satisfação do cidadão, foi necessário determinar
os fatores chaves que influenciam a E-Satisfaction e que cobrem todos os passos definidos no
modelo conceptual. Os autores realizaram um basto número de entrevistas de onde retiraram
um conjunto de 29 fatores (tabela 3), sendo que estes podem ser divididos em 3 grupos:
• Acesso ao serviço: os serviços têm de ser de facilmente encontrados, sendo que
para isso é necessário haver mais informação sobre os diferentes serviços
fornecidos pelo e-Government. Esses serviços também devem ser de fácil acesso,
sendo que as pessoas com poucas habilidades computacionais devem ser capazes
de aceder ao serviço de uma forma descomplicada. Acima de tudo, os serviços
devem ter um custo justo.
• Usabilidade do serviço: a usabilidade do serviço depende sobretudo dos conteúdos
que o mesmo tem para oferecer. A informação disponível deve ser de fácil
compreensão, confiável e atual. A segurança também é um dos fatores mais críticos
para os utilizadores do serviço, sendo que o sistema técnico subjacente ao serviço
14
deve ser confiável e estável para que não surgem avarias e para que toda a
informação que o governo possui não seja divulgada, perdida e alterada.
• Impacto do serviço: o objetivo de qualquer serviço é a redução dos encargos
administrativos, sendo que esta redução está fortemente conectada com a
realização de serviços mais fáceis de usar. A centralização dos serviços e a
acessibilidade dos serviços por meio de uma janela, guia funcional ou robot de busca
são consideradas muito importantes.
Indicador Chave Indicador Importância Nome do Item
Infraestrutura
Habilidades +++ Infra 1
Hardware + Infra 2
Software + Infra 3
Disponibilidade A qualquer momento + Avai 1
Em qualquer lugar + Avai 2
Consciencialização Comunicação ++ Aware 1
Fácil de encontrar + Aware 2
Custo Económico + Cost
Aspetos Técnicos
Velocidade do sistema +++ Tech 1
Confiabilidade técnica +++ Tech 2
Compatibilidade + Tech 3
Integração dos diferentes serviços +++ CFr1
Redução do encargo administrativo +++ CFr2
Possibilidade de contacto pessoal +++ CFr3
Orientado para o utilizador ++ CFr4
Flexibilidade + CFr5
Customização/ Personalização + CFr6
Segurança/ Privacidade
Reconhecimento do recebimento da transação +++ SecPri 1
Proteção das informações pessoais ++ SecPri 2
Segurança da transação + SecPri3
Identificação + SecPri4
Conteúdo
Conteúdo recente +++ Cont 1
Conteúdo legível ++ Cont 2
Conteúdo credível ++ Cont 3
Conteúdo útil + Cont 4
Conteúdo suficiente + Cont 5
Usabilidade
Orientação +++ Usa 1
Facilidade de navegação + Usa 2
Lay-out e design + Usa 3
Tabela 3- Lista de Indicadores
A lista de indicadores e o modelo conceptual criado pelos autores foram posteriormente
testados a partir de um método estatístico que permitiu validar o modelo conceptual e reduzir
o número de indicadores para 9 itens (que continuavam a cobrir todo o modelo conceptual).
15
Para além disso, este teste permitiu também a criação de um questionário (tabela 4) para medir
a satisfação.
Nome do item Operacionalização dos indicadores
Infra 2 Quão satisfeito está com o software necessário para aceder a este site do E-Government?
Avai 1 Quão satisfeito está com a oportunidade para aceder aos serviços fornecidos por este site quando
quiser?
Aware 2 Quão satisfeito está com a facilidade de encontrar este site do E-Government?
Cost Quão satisfeito está com o custo para aceder a este site do E-Government?
Tech 1 Quão satisfeito está com a velocidade de carregamento das páginas deste site do E-Government?
CFr 5 Quão satisfeito está com a possibilidade de obter ajuda pessoal/assistência neste site do E-
Government?
SecPri 3 Quão satisfeito está com a segurança das transações que podem ser realizadas neste site do E-
Government?
Cont 4 Quão satisfeito está com a utilidade da informação que está disponível neste site do E-Government?
Usa 2 Quão satisfeito está com a flexibilidade que é oferecida por este site do E-Government?
Tabela 4- Instrumento reduzido de avaliação
Nas plataformas em que este instrumento foi testado, obteve-se um resultado geral de 8.00 em
10, o que indica que os utilizadores dessas plataformas estão bastante satisfeitos com os
serviços fornecidos pelas mesmas.
No caso do estudo levado a cabo por Alawneh, Al-Refai, & Batiha em 2013, o principal
objetivo era a medição dos principais fatores que influenciam a satisfação dos cidadãos da
Jordânia, com os serviços do E-Government do portal da Jordânia. Após a revisão de literatura,
estes autores identificaram cinco determinantes para avaliação da E-Satisfaction (tabela 5) e
formularam possíveis relações entre o nível de satisfação e esses determinantes.
16
Determinante Definição Possível Relação
Segurança e
privacidade
Os cidadãos devem ver o portal do governo
eletrónico da Jordânia como uma plataforma segura,
da qual não resultam consequências adversas após o
uso da mesma. Para além disto, os cidadãos devem
ser capazes de determinar quando e em que medida
as informações que a ele lhe dizem respeito devem
ser comunicadas a outros, de forma a garantir a
confidencialidade
H1. A elevada segurança e
privacidade do portal da Jordânia
afetam positivamente os níveis
de E-Satisfaction dos cidadãos.
Confiança
O cidadão jordano deve ter confiança no seu
governo e no portal do governo eletrónico, sendo
que esse sentimento irá afetar as atitudes do
cidadão perante o portal. A confiança também está
dependente da segurança e da privacidade do
portal.
H2. A elevada confiança no portal
da Jordânia irá afetar
positivamente os níveis de E-
Satisfaction dos cidadãos.
Acessibilidade
Os serviços do portal devem estar sempre acessíveis,
permitindo que os cidadãos realizem transações
governamentais a qualquer hora e em qualquer
local.
H3. A elevada acessibilidade do
portal irá afetar positivamente os
níveis de E-Satisfaction.
Qualidade dos
Serviços
Públicos
Perceção do cidadão sobre a qualidade dos serviços
e produtos fornecidos pelo portal da Jordânia.
H4. A elevada qualidade dos
serviços públicos fornecidos pelo
portal irá afetar positivamente os
níveis de E-Satisfaction.
Conhecimento
dos Serviços
Públicos
Os cidadãos devem estar cientes dos benefícios
associados aos serviços e produtos fornecidos pelo
portal da Jordânia.
H5. O elevado conhecimento dos
serviços públicos irá afetar
positivamente os níveis de E-
Satisfaction.
Tabela 5- Determinantes da E-Satisfaction
Após a definição dos determinantes que influenciam a E-Satisfaction e a formulação das
possíveis relações, os autores criaram um questionário com 36 perguntas que permitiam
analisar todos os determinantes, sendo que para avaliação dos itens de escala do questionário
foi utilizada uma escala de classificação categórica de cinco pontos. O questionário para medição
dos determinantes foi testado a partir da análise confirmatória de fatores (CFA- Confirmatory
Factor Analysis), o que permitiu validar alguns dos fatores utilizados para a medição dos
determinantes e eliminar os que não tinham grande relevância, uma vez que não possuíam um
valor de carga de fator igual ou superior a 0.5, como podemos ver na tabela 6.
17
Item para medição Fator1 Fator2 Fator3 Fator4 Fator5
Segurança e Privacidade
• O portal tem salvaguardas suficientes para me sentir confortável na realização de
transações governamentais.
• O portal garante a confidencialidade das minhas informações pessoais.
• O portal nunca usará indevidamente as minhas informações pessoais.
• O portal possui padrões e ferramentas tecnológicas adaptadas de forma a garantir
que os dados enviados não podem ser modificados por pessoas não autorizadas.
• O portal adere às leis de proteção de dados.
• O portal apenas coleta os dados pessoais do utilizador necessários para o seu
funcionamento.
• O portal preocupa-se com a privacidade dos utilizadores.
0.93 0.67 0.51 0.80 0.66 0.44 (apagado) 0.52
Confiança
• O portal é confiável para prestar serviços governamentais aos seus utilizadores.
• Eu espero que o meu uso do portal aumente no futuro.
• Eu acredito que todas as minhas informações pessoais permanecerão intactas no
portal.
• O portal está sempre a aumentar a atenção e o interesse dos Jordanos.
• Confio nos benefícios fornecidos pelo portal.
1.08 0.83 0.48 0.81 0.91
Acessibilidade
• O design do portal é muito eficiente.
• O portal fornece procedimentos, processos e instruções claras e fáceis de seguir.
• O portal é apenas um meio informativo.
• O portal é interativo e atraente para os utilizadores.
• O portal é visualmente atraente.
• O portal está sempre a aumentar a minha capacidade de pesquisa
0.93
1.13
0.41
(apagado)
0.88
1.0
0.98
Conhecimento dos serviços
• Recebo informações suficientes sobre o portal.
• Recebo informações suficientes sobre os benefícios do portal.
• Recebo informações suficientes para usar o portal.
• Nunca recebi informações sobre as transações governamentais do portal.
• O portal mantém todas as promessas e compromissos com os utilizadores.
• O portal aumenta a conscientização sobre a segurança dos dados do utilizador
• O portal encoraja os utilizadores a realizar transações governamentais online.
0.95
1.12
1.03
0.39
(apagado)
0.61
0.64
0.92
Qualidade dos serviços
• O portal permite realizar transações governamentais mais rapidamente.
• O portal permite melhorar o desempenho das transações governamentais através
do suporte online.
• O portal permite realizar transações governamentais em menos etapas.
• A interação com o portal é clara e compreensível.
• É fácil fazer o que eu quero fazer usando o portal.
• O portal permite acompanhar as transações com uma variedade de opções e menos
erros.
• O portal aumenta a minha capacidade de concluir as transações governamentais
sem problemas, mal-entendidos e atrasos.
• Pretendo usar o portal no futuro
• O portal fornece uma plataforma de solução de problemas.
• Recomendo o uso do portal a outros.
0.65
0.69
0.71
0.88
0.69
0.61
0.73
0.86
0.72
0.80
Tabela 6- Análise de fatores
Por fim, os autores realizaram uma análise às possíveis relações existentes entre os
determinantes e os níveis de E-Satisfaction. Esta análise permitiu concluir que a acessibilidade,
o conhecimento dos serviços e a qualidade dos mesmos afetam positivamente e
18
significativamente os níveis de E-Satisfaction, suportando as possíveis relações H3, H4 e H5, ao
contrário do que acontece com os restantes determinantes, não suportando as possíveis
relações H1 e H2. Tudo isto permitiu também concluir que o estudo realizado deveria ter levado
em conta outros determinantes para além dos cinco estudados, uma vez que estes não
permitem explicar todos os fatores que afetam a E-Satisfaction.
Com tudo o que foi analisado nestes dois estudos, conseguimos concluir que a medição da
E-Satisfaction é bastante complexa e importante para o desenvolvimento do E-Government. O
facto de a medição não ser estandardizada, leva a que os diferentes autores tomem em
consideração diferentes determinantes e diferentes escalas. Também conseguimos concluir que
esta medição será essencial para o desenvolvimento do E-Government, uma vez que esta
permitirá saber se as expectativas e necessidades dos cidadãos estão a ser cumpridas e permitirá
recolher informações sobre quais os pontos a melhorar, de forma a ir de encontro às
necessidades dos cidadãos, garantir um nível maior de E-Satisfaction e de uso do E-Government.
19
3. Abordagem Metodológica
Neste capítulo é apresentada a abordagem metodológica utilizada para a realização deste
projeto, Design Science Research.
3.1 Design Science Research
A metodologia de investigação científica utilizada para a elaboração deste projeto é a
metodologia Design Science Research (DSRM) no âmbito dos Sistemas de Informação. Esta
metodologia tem como principal objetivo o desenvolvimento de artefactos que podem ser
posteriormente aplicados por outros profissionais de sistemas de informação.
A metodologia DSRM encontra-se dividida em 6 fases (Peffers, Tuunanen, Rothenberger,
& Chatterjee, 2007) sendo elas as seguintes:
1. Identificação e motivação do problema- consiste na identificação dos aspetos mais
importantes na definição do problema. Os recursos necessários para a realização
desta fase incluem o conhecimento do estado do problema e a importância da
solução.
2. Definição dos objetivos- identificação dos objetivos que irão ajudar na resolução do
problema identificados. Para esta fase é necessário ter conhecimento do estado do
problema e as soluções atuais e sua eficácia.
3. Design e conceção- permite criar artefactos que podem ser construções, modelos,
métodos ou instâncias. Esta atividade irá permitir definir a funcionalidade desejada
do artefacto e a sua arquitetura para de seguida criar o artefacto real.
4. Demonstração- consiste na validação da solução desenvolvida, ou seja, na
implementação e validação da arquitetura proposta. Os recursos necessários para
esta fase incluem o conhecimento sobre como usar o artefacto na resolução do
problema.
5. Avaliação- fase em que são retiradas as conclusões do trabalho desenvolvido. Nesta
faz-se uma comparação entre os objetivos da solução com os resultados reais
observados do uso do artefacto validade anteriormente. Os recursos necessários
envolvem o conhecimento de métricas e técnicas de análise.
6. Comunicação- procura apresentar e divulgar os resultados obtidos, realçando a
utilidade do trabalho. Esta fase requer conhecimento da cultura disciplinar.
20
Figura 5- Fases DSRM
Por norma, esta metodologia deve ser seguida sequencialmente o que não implica que não
se possa começar em qualquer outra fase que não a primeira e ignorar as fases anteriores, se
assim o entender.
No que diz respeito a este projeto, nas diferentes fases iremos fazer o seguinte:
1. Identificação do problema e motivação: nesta fase é importante reconhecer que a
satisfação dos cidadãos com o desenvolvimento do E-Government é uma área
pouco aprofundada, sendo que a criação de um instrumento de avaliação da
satisfação do cidadão com o desenvolvimento do E-Government será essencial para
o desenvolvimento de um E-Government mais centrado no seu utilizador.
2. Definir objetivos para a solução: o objetivo principal deste trabalho é a criação de
uma ferramenta que permita avaliar a E-Satisfaction, sendo que para tal será
necessário definir uma lista de determinantes essenciais para a medição da E-
Satisfaction e definir indicadores e métricas para aferir o valor desses
determinantes.
3. Design e conceção: nesta fase é necessário definir a forma como o instrumento de
avaliação da satisfação será feito, bem como a composição do mesmo.
4. Demonstração: a demonstração irá consistir na definição do procedimento de
utilização do instrumento criado para avaliação da E-Satisfaction;
5. Avaliação: nesta fase serão feitos vários testes para avaliar o instrumento criado, de
forma a garantir que o mesmo consegue cumprir todos os objetivos que definimos
para o mesmo.
21
6. Comunicação: nesta fase será feita uma apresentação do instrumento criado, bem
como um relatório pormenorizado de todo o processo.
22
4. Plano de Atividades
Neste capítulo é feita a calendarização de todo o projeto de dissertação, bem como uma
análise dos principais riscos que podem ocorrer durante o desenvolvimento desse projeto.
4.1 Planeamento
Figura 6- Calendarização
23
4.2 Diagrama de Gantt
Figura 7- Diagrama de Gantt
24
4.3 Análise de Riscos
Descrição Probabilidade Impacto Seriedade Atenuante
Falha da execução das
tarefas no tempo previsto
3 5 15
Alocar mais tempo para a realização das
tarefas
Perda de informação
2 5 10 Executar cópias
de segurança regularmente
Planeamento incorreto
2 2 4 Redefinir o
planeamento do projeto
Ausência de informação para a realização do
projeto
1 2 2
Procurar informação
noutras fontes e pedir ajuda ao
orientador
Atraso no desenvolvimento
do projeto 4 4 16
Cumprir o planeamento elaborado e replanear as tarefas, caso
seja necessário
Utilização de metodologias inadequadas
para o projeto
2 4 8
Estudar intensivamente
as diferentes metodologias que melhor se
enquadram com o projeto
Tabela 7- Lista de Riscos
25
5. Conclusão
Este documento dá a conhecer os vários conceitos envolvidos nesta área de estudo, de
forma a ajudar na melhor compreensão do projeto que está a ser desenvolvido. Para além dos
diferentes conceitos, também são apresentados alguns casos de estudo realizados nesta área,
como o caso de estudo levado a cabo por Verdegem & Verleye.
Com o desenvolvimento desta fase do projeto conseguimos tirar várias conclusões acerca
da satisfação, da sua importância e da sua medição. A satisfação está dependente das
expectativas da pessoa e da perceção que essa pessoa tem sobre a superação ou não dessas
expectativas, representando um papel bastante importante na adoção dos serviços do E-
Government, no melhoramento dos serviços existentes e na projeção de serviços novos. Para
além disto, também podemos concluir que a medição da satisfação é bastante complexa e que
esta irá permitir a recolha de informações sobre as necessidades que o cliente pretende ver
satisfeitas com a utilização do serviço e se estas necessidades estão ou não a ser satisfeitas pelo
fornecedor de serviços.
Para a elaboração e desenvolvimento desta fase do projeto e da fase seguinte é utilizada
uma metodologia que ajuda na realização do projeto, sendo ela a Desing Science Research
Methodology.
Como trabalho futuro, irá ser definida uma lista de determinantes essenciais para a
avaliação da satisfação dos cidadãos com o E-Government, o conjunto de métricas e indicadores
que permitirão aferir o valor desses mesmos determinantes, e, por fim, a criação de um
instrumento para avaliação da satisfação do cidadão com o desenvolvimento do E-Government.
Após a criação do instrumento, será necessário realizar testes para validação desse instrumento
e definir o procedimento para utilização do mesmo.
26
6. Referências
Berry, L. L., Parasuraman, A., & Zeithaml, V. A. (1990). Delivering Quality Service: Balancing Customer Perceptions and Expectations. Business. https://doi.org/10.1177/0001699303046002008
Bertot, J. C., & Jaeger, P. T. (2006). User-centered e-government: Challenges and benefits for government Web sites. Government Information Quarterly, 23(2), 163–168. https://doi.org/10.1016/j.giq.2006.02.001
Dutka, A. (1994). AMA Handbook for CUSTOMER Satisfaction. Chicago: AMA, NTC Business Books.
Ebbers, W. E., Pieterson, W. J., & Noordman, H. N. (2008). Electronic government: Rethinking channel management strategies. Government Information Quarterly, 25(2), 181–201. https://doi.org/10.1016/j.giq.2006.11.003
Faye, A., Fournier, P., Diop, I., Philibert, A., Morestin, F., & Dumont, A. (2013). Developing a tool to measure satisfaction among health professionals in sub-Saharan Africa. Human Resources for Health, 11(1). https://doi.org/10.1186/1478-4491-11-30
Fornell, C. (1992). A National Customer Satisfaction Barome- ter: The Swedish Experience. Journal of Marketing, 56(1), 6–21. https://doi.org/10.2307/1252129
Heeks, R., & Bailur, S. (2007). Analyzing e-government research: Perspectives, philosophies, theories, methods, and practice. Government Information Quarterly, 24(2), 243–265. https://doi.org/10.1016/j.giq.2006.06.005
Irani, Z., Sivarajah, U., Molnar, A., & Lee, H. (2014). A User Satisfaction Study of the London Congestion Charging e-Service. Proceedings of the 20th Americas Conference on Information Systems (AMCIS 2014), 1–10. Retrieved from http://aisel.aisnet.org/amcis2014/eGovernment/GeneralPresentations/4
Jackson, P., & Curthoys, N. (2001). E-government: a theory of public sector reform, 209–216.
Jaeger, P. T., & Thompson, K. M. (2003). E-government around the world: Lessons, challenges, and future directions. Government Information Quarterly, 20(4), 389–394. https://doi.org/10.1016/j.giq.2003.08.001
Karim, M. R. A. (2003). Technology and Improved Service Delivery: Learning Points from the Malaysian Experience. International Review of Administrative Sciences, 69(2), 191–204. https://doi.org/10.1177/0020852303692005
Kunstelj, M., Jukic, T., & Vintar, M. (2007). Analysing the Demand Side of E-Government: What Can We Learn From Slovenian Users? Electronic Government: 6th International Conference (EGOV 2007), 4656/2007, 305–317. https://doi.org/10.1007/978-3-540-74444-3
MORI Social Research Institute. (2002). Public Service Reform: Measuring & Understanding Customer Satisfaction. A MORI Review for the Office of Public Services Reform., 1–50. https://doi.org/10.1111/j.1468-0041.2004.00363.x
Muylle, S., Moenaert, R., & Despontin, M. (2004). The conceptualization and empirical validation of web site user satisfaction. Information and Management, 41(5), 543–560. https://doi.org/10.1016/S0378-7206(03)00089-2
Oliver, R. L. (1980). A Cognitive Model of the Antecedents and Consequences of Satisfaction
27
Decisions. Journal of Marketing Research, 17(4), 460. https://doi.org/10.2307/3150499
Osman, I. H., Anouze, A. L., Irani, Z., Al-Ayoubi, B., Lee, H., Balc, A., … Weerakkody, V. (2014). COBRA framework to evaluate e-government services: A citizen-centric perspective. Government Information Quarterly, 31(2), 243–256. https://doi.org/10.1016/j.giq.2013.10.009
Papadomichelaki, X., & Mentzas, G. (2009). A Multiple-Item Scale for Assessing E-Government Service Quality. In Electronic Government. 8th International Conference, EGOV 2009, Linz, Austria, August 31 - September 3, 2009. Proceedings (Vol. 5693 LNCS, pp. 163–175). https://doi.org/10.1007/978-3-642-03516-6_14
Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A Design Science Research Methodology for Information Systems Research. Journal of Management Information Systems, 24(3), 45–77. https://doi.org/10.2753/MIS0742-1222240302
Peterson, R. A., & Wilson, W. R. (1992). Measuring customer satisfaction: Fact and artifact. Journal of the Academy of Marketing Science, 20(1), 61–71. https://doi.org/10.1007/bf02723476
Reddick, C. G. (2005). Citizen interaction with e-government: From the streets to servers? Government Information Quarterly, 22(1), 38–57. https://doi.org/10.1016/j.giq.2004.10.003
Schedler, K., & Summermatter, L. (2007). Customer orientation in electronic government: Motives and effects. Government Information Quarterly, 24(2), 291–311. https://doi.org/10.1016/j.giq.2006.05.005
Somasundaram, T. N., & Diego, S. (1993). Consumers Reaction to Product Failure : Impact of Product Involvement and Knowledge. Advances in Consumer Research, 20, 215–219.
Sousa, F. J. da S. F. S. Satisfação de Clientes- O Caso de Uma Empresa Industrial (2011).
Thomas, J. S. (2001). A Methodology for Linking Customer Acquisition to Customer Retention. Journal of Marketing Research, 38(2), 262–268. https://doi.org/10.1509/jmkr.38.2.262.18848
Titah Barki, H., R. (2005). Local Government Adoption and acceptance: a Literature Review. International Journal of E-Government Research, 2(3), 23–57. Retrieved from http://neumann.hec.ca/igti/cahiers de recherche/chaireIGTIcahier0503.pdf
Vavra, T. G. (1993). Marketing de Relacionamento. São Paulo: Atlas, (2), 25–36.
Verdegem, P., & Verleye, G. (2009). User-centered E-Government in practice: A comprehensive model for measuring user satisfaction. Government Information Quarterly, 26(3), 487–497. https://doi.org/10.1016/j.giq.2009.03.005
Westbrook, R. A., & Oliver, R. L. (1991). The Dimensionality of Consumption Emotion Patterns and Consumer Satisfaction. Journal of Consumer Research, 18(1), 84. https://doi.org/10.1086/209243
