-
Uma análise dos destaques e oportunidades sobre o tema Avaliação
de Desempenho na Regulação de Serviços Públicos
Sandra Rolim Ensslin, Dra. ([email protected]) Professora do
programa de Pós-Graduação em Contabilidade da Universidade Federal
de Santa Catarina (PPGC/UFSC). Leonardo Ensslin, Ph.D.
([email protected]) Professor do programa de Pós-Graduação
em Administração da Universidade do Sul de Santa Catarina (UNISUL).
Lucas dos Santos Matos ([email protected]) Mestrando do programa
de Pós-Graduação em Contabilidade da Universidade Federal de Santa
Catarina (PPGC/UFSC). Vicente Mateo Ripoll-Feliu, Ph.D.
([email protected]) Professor Titular de Universitat Valencia,
Espanha. Área Temática: A5) Contabilidade de Gestão/Analítica
RESUMO Esta pesquisa, de natureza exploratório-descritiva, com
abordagem qualitativa e quantitativa, objetiva selecionar um
Portfólio Bibliográfico (PB) sobre o tema Avaliação de Desempenho
na Regulação de Serviços Públicos e, a partir desse PB, realizar um
mapeamento sobre estas publicações, e realizar uma análise
sistêmica. Pra tal, fora selecionado o processo Knowledge
Development Process – Constructivist (ProKnow-C). O resultado foi
um PB composto por 16 artigos científicos com reconhecimento e,
para estes artigos, evidenciou-se os principais periódicos,
artigos, autores e palavras-chave sobre o tema. A análise de
conteúdo possibilitou encontrar destaques e oportunidades para
pesquisas futuras. Palavras-chave: Avaliação de Desempenho;
Regulação; Serviços Públicos; ProKnow-C; Análise Sistêmica.
ABSTRACT This study, characterized as exploratory and descriptive
with qualitative and quantitative approach, aims to choose a set of
scientific articles about Performance Measurement in public
utilities regulation and, by that articles, perform a mapping on
these publications, and conduct a systemic analysis. To this end,
the process selected was Knowledge Development Process -
Constructivst (ProKnow - C). The result was a set of scientific
articles compound by 16 acknowledged papers and, for these papers,
showed up the main periodicals, papers, authors and keywords on the
topic. The content analysis allowed to find highlights and
opportunities for future research. Keywords: Performance
Measurement; Regulation; Public Utilities; ProKnow-C; Systemic
Analysis. 1. INTRODUÇÃO
-
As privatizações dos serviços públicos nos países desenvolvidos
e em
desenvolvimento, pelo seu porte e importância relativa regional
e nacional, obrigou as
instituições regulatórias a desenvolverem instrumentos que lhes
permitisse assegurar uma
operação não monopolizadora. As privatizações devem-se ao
crescimento desproporcional
entre a demanda da sociedade e as possibilidades do Estado na
prestação de serviços públicos.
Como solução para este problema, diminuiu-se a participação do
Estado trocando a execução
da prestação dos serviços públicos pela fiscalização (JAMASB,
POLLITT, 2001; ROCHA,
2004; TUPPER, RESENDE, 2004).
A partir da privatização e desestatização dos serviços públicos,
de telecomunicações,
energia, saneamento e transportes, o Estado passa a regular
estes serviços, de forma a garantir
o equilíbrio econômico e defender os interesses públicos.
(STERN, HOLDER, 1999;
JAMASB et al., 2004; KISSLER; HEIDEMANN, 2006; MARQUES, SIMÕES,
2008). A
privatização dos serviços aplica ainda a promoção da
concorrência nesses mercados,
exigindo-se eficiência dos prestadores (POMBO, TABORDA, 2006).
Desta forma, deixa-se
de lado a prestação, onde se concentrava a propriedade, a
produção e o controle, e inicia-se a
regulação e fiscalização dos serviços públicos (PECI,
CAVALCANTI, 2002).
Torna-se importante, assim, mensurar o desempenho desses
mercados regulados e da
própria estrutura regulatória, quanto ao alcance dos propósitos
da regulação, para os gestores,
para que possam tomar decisões embasados em dados e informações
seguras e fidedignas, e
para a sociedade, como forma de prestar contas e otimizar a
transparência das informações.
No geral, para avaliar a qualidade da regulação são utilizados
alguns métodos, como
a Análise do Impacto Regulatório (AIR), que consiste na análise
e avaliação dos possíveis
benefícios, custos e impactos de regulamentações novas ou já
existentes (PECI, 2010), mas
ainda são poucos (TUPPER, RESENDE, 2004). Tupper e Resende
(2004) ainda apontam o
uso da ROR (rate-of-return regulation), mas afirmam que são
pobres os resultados por ela
trazidos.
Além destes métodos de mensuração de desempenho, é importante
também conhecer
o que há publicado cientificamente sobre o tema, bem como
conhecer quem são os principais
autores, artigos, periódicos mais receptivos ao tema, e a
linguagem utilizada pela comunidade
científica. Conhecendo-se estas variáveis, faz-se necessário,
aprofundar o entendimento das
contribuições das publicações cientificas dessa área realizando
a análise de conteúdo desses
materiais, posicionando-se de forma a encontrar destaques e
oportunidades sobre o tema,
conforme indicam Chaves et al. (2013).
-
Evidenciada a importância do tema e as dificuldades salientadas,
surge a pergunta de
pesquisa que balizará o seguimento deste trabalho: Como realizar
a seleção de um Portfólio
Bibliográfico alinhado ao tema e com reconhecimento científico,
e, a partir deste, sua
bibliometria e análise sistêmica para o tema avaliação de
desempenho na regulação de
serviços públicos, segundo a percepção dos pesquisadores?
Almejando responder a pergunta de pesquisa, definiu-se como
objetivo do presente
artigo realizar o mapeamento e análise de uma seleção de artigos
sobre o tema avaliação de
desempenho na regulação de serviços públicos, segundo a visão
construtivista.
Para atingir o objetivo definido será necessário realizar:
(i) Seleção de um Portfólio Bibliográfico sobre o tema;
(ii) Análise bibliométrica dos artigos do Portfólio
Bibliográfico selecionado, e suas
referências, para conhecer os principais periódicos, autores,
artigos e palavras-
chave;
(iii) Análise sistêmica dos artigos do Portfólio Bibliográfico
selecionado, com base
na afiliação teórica de avaliação de desempenho;
(iv) Identificação das lacunas na literatura e sugerir
oportunidades de pesquisas
futuras.
Para realização desta pesquisa, utilizar-se-á como instrumento
de intervenção o
processo estruturado Knowledge Development Process –
Constructivist (Proknow-C).
Evidencia-se a relevância desta pesquisa devido a apresentação
de um processo para
a construção de conhecimento sobre um tema pouco abordado, além
de apresentar o
conhecimento gerado para a comunidade científica.
Assim, esse artigo se apresenta em cinco seções, além dessa
introdução. A seção
seguinte se encontra o enquadramento metodológico da presente
pesquisa e apresentação do
instrumento de intervenção. Na terceira seção são apresentados
os resultados obtidos a partir
do ProKnow-C para a seleção do Portfólio Bibliográfico (PB),
realiza-se a análise
bibliométrica do PB, e por fim realiza-se a análise de conteúdo
desse PB. A quarta seção
apresenta as conclusões e oportunidade de pesquisas futuras. Por
fim, o artigo apresenta as
referências bibliográficas utilizadas ao longo do texto.
2. METODOLOGIA DE PESQUISA
-
O objetivo desta seção é sustentar metodologicamente o presente
trabalho científico,
possibilitando aos leitores, ainda, a apresentação dos processos
utilizados para atingir os
resultados finais. A seção está divida em duas partes: (i) o
enquadramento metodológico da
pesquisa; e, (ii) o instrumento de intervenção.
2.1. Enquadramento Metodológico
O enquadramento metodológico é entendido como a análise, a
descrição ou a
explicação das abordagens e procedimentos empregados durante a
pesquisa para especificar o
conjunto de métodos de pressupostos filosóficos ou disciplinas,
os quais fundamentam os
temas ou finalidades que explicam ou esclarecem o estudo
particular para o método científico
(TASCA et al., 2010; ROSA et al., 2011).
Procura-se definir aqui o enquadramento metodológico da
pesquisa, dividindo-se em
seis subseções: i) o objetivo da pesquisa; ii) a lógica da
pesquisa; iii) o processo da pesquisa;
iv) o resultado da pesquisa; v) os procedimentos técnicos; e vi)
o instrumento de intervenção a
ser utilizado na pesquisa.
A presente pesquisa, em relação a natureza de seu objetivo,
caracteriza-se como
exploratório-descritiva. Exploratória, pois tem como finalidade
construir no pesquisador o
conhecimento sobre o tema, por meio do processo de seleção e
análise dos artigos científicos
publicados em periódicos, a partir das delimitações impostas
pelos pesquisadores. Descritiva,
pois descreve as características dos artigos que compõem o
Portfólio Bibliográfico (GIL,
1999).
Quanto à natureza do artigo, a pesquisa classifica-se como
teórico-ilustrativa, pois
busca consolidar informações da literatura sobre avaliação de
desempenho na regulação de
serviços públicos, orientando a prática e a estrutura a serem
seguidos durante a pesquisa
(ALAVI; CARLSON, 1992).
Em relação a lógica, a pesquisa caracteriza-se como indutiva,
visto que parte de uma
abordagem geral para uma abordagem específica.
A coleta de dados da pesquisa utilizará os dados primários e os
dados secundários.
As próprias delimitações estabelecidas pelos pesquisadores em
diversas etapas do processo.
Os dados secundários são obtidos a partir das publicações
científicas (RICHARDSON, 1999).
Quanto à abordagem do problema, em relação ao processo de
pesquisa, o trabalho é
caracterizado, ao mesmo tempo, como qualitativo e quantitativo.
A abordagem qualitativa fica
evidenciada durante o subprocesso de seleção dos artigos que
farão parte do Portfólio
Bibliográfico, conforme as delimitações dos pesquisadores e
durante a análise de conteúdo
-
dos artigos do PB. A abordagem quantitativa fica evidenciada no
subprocesso de análise
bibliométrica do PB, durante a contagem das variáveis definidas
(RICHARDSON, 1999).
O resultado da pesquisa é caracterizado como aplicada. Essa
característica é
evidenciada a partir de seu objetivo, que é gerar conhecimento
para aplicação à solução de
problemas específicos, coletando-se dados com base em uma
metodologia estruturada e
analisando-os segundo procedimentos estruturados.
Quanto aos procedimentos técnicos, a pesquisa é caracterizada
como bibliográfica,
uma vez que é realizada a partir da análise de publicações
científicas, com contribuição de
diferentes autores sobre o tema, com acesso intermediado via
Coordenação de
Aperfeiçoamento de Pessoal de Nível Superior (CAPES), sendo
reconhecidas no domínio
científico (GIL, 1999; SÁ-SILVA et al., 2009). A pesquisa é,
também, caracterizada como
pesquisa-ação, pois os pesquisadores estão envolvidos de modo
cooperativo e participativo
para resolução do problema, apresentando, por exemplo, durante a
reanálise das palavras-
chave (GIL, 1999).
O instrumento de intervenção utilizado foi o processo de revisão
bibliográfica
denominado Knowledge Development Process – Construtivist
(ProKnow-C), que, de forma
estruturada, delineia e apresenta um processo para gerar, no
pesquisador, o conhecimento
necessário para investigar um tema (BORTOLUZZI et al., 2011;
LACERDA et al., 2011a). A
figura 1 apresenta, esquematicamente, o resumo do enquadramento
metodológico descrito
acima.
Figura 1 - Enquadramento metodológico da pesquisa
Fonte: adaptado de Lacerda et al. (2012).
-
2.2. Instrumento de intervenção (ProKnow-C)
O instrumento de intervenção utilizado é o ProKnow-C, cujo
objetivo é construir
conhecimento a partir dos interesses e delimitações impostas
pelo pesquisador, segundo a
visão construtivista. O processo ProKnow-C é composto por quatro
macro etapas: i) seleção
de um portfólio de artigos sobre o tema da pesquisa; ii) análise
bibliométrica; iii) análise
sistêmica; e iv) definição da pergunta de pesquisa e objetivo de
pesquisa (CHAVES et al.,
2013). As quatro macro etapas podem ser observadas na Figura
2.
Figura 2 – Resumo do processo ProKnow-C
Fonte: Lacerda et al., 2012.
Sobre o processo de seleção do Portfólio Bibliográfico, a
metodologia consiste em
uma série de procedimentos sequenciais que têm início na
definição do mecanismo de busca
de artigos científicos a ser utilizado, seguido por processos
pré-estabelecidos para atingir a
fase de filtragem e seleção de portfólio bibliográfico relevante
sobre o tema (AFONSO et al.,
2011; BORTOLUZZI et al., 2011; LACERDA et al., 2012). Deve-se
salientar que estes
artigos correspondem aos que mais se destacaram em termos de
reconhecimento científico e
alinhamento sobre o tema, segundo a percepção dos
pesquisadores.
A próxima etapa consiste na realização da análise bibliométrica
dos artigos do
Portfólio Bibliográfico, para verificar quais são os principais
periódicos e seus fatores de
impacto, artigos, autores e palavras-chave referentes ao tema
definido. Realizando-se, assim,
o mapeamento do tema (CHAVES et al., 2013). Lacerda et al.
(2012) definem bibliometria
como “processo de evidenciação quantitativa dos dados
estatísticos de um conjunto definido
-
de artigos (Portfólio Bibliográfico) para a gestão da informação
e do conhecimento científico
de um dado assunto, realizado por meio da contagem de
documentos”.
Após a realização da bibliometria, parte-se para a realização da
análise sistêmica dos
artigos do PB. Esta análise é definida por Chaves et al. (2013)
como “processo científico
utilizado para, a partir de uma visão de mundo (filiação
teórica) definida e explicitada por
suas lentes, analisar uma amostra de artigos representativa de
um dado assunto de pesquisa,
buscando evidenciar para cada lente e globalmente, para a
perspectiva estabelecida, os
destaques e as oportunidades (carências) de conhecimentos
encontrados na amostra”.
Esta visão de mundo, ou filiação teórica, cria os fundamentos
para a definição de
Avaliação de Desempenho a ser utilizada nesse trabalho. Segundo
Chaves et al. (2013):
Avaliação de Desempenho é o processo para construir conhecimento
no decisor (1), a respeito do contexto específico (2) que se propõe
avaliar, a partir da percepção do próprio decisor (3) por meio de
atividades que identificam, organizam, mensuram (4) ordinalmente e
cardinalmente, integram (5) permitem visualizar o impacto das ações
e seu gerenciamento (6).
A análise sistêmica é realizada segundo critérios, denominados
como lentes,
conforme indicado na Figura 3.
Figura 3 – Lentes da Análise Sistêmica do ProKnow-C
Fonte: Chaves et al. (2013)
A partir da análise do conteúdo do PB, são identificadas, para
cada lente, as lacunas.
Para cada lente são sugeridas oportunidades de pesquisa para o
tema. Este conhecimento
permite aos pesquisadores definir uma pergunta de pesquisa para
trabalhos futuros (CHAVES
et al., 2013).
3. RESULTADOS
-
O objetivo nesta seção é mostrar os resultados da pesquisa em
termos de seleção de
artigos para com por: (i) um Portfólio Bibliográfico (PB; (ii) a
análise bibliométrica; e, (iii) a
análise sistêmica.
3.1. Processo de busca de artigos para formar o Portfólio
Bibliográfico
Para seleção do Portfólio Bibliográfico do tema de pesquisa, o
processo é constituído
de três fases principais. Primeiramente, dá-se a seleção do
banco de artigos brutos; em
seguida a filtragem do banco de artigos; e, por fim, o teste de
representatividade do PB
(ROSA et al., 2011).
A primeira fase, seleção de artigos brutos, é subdividida em
três etapas, que são: (i)
Definição das palavras-chave; (ii) definição das bases de dados;
e (iii) buscar artigos nas
bases de dados com as palavras-chave (BORTOLUZZI et al.,
2011).
Já a segunda fase, filtragem do banco de artigos, é subdividida
em cinco etapas,
assim dispostas: (i) eliminação de artigos repetidos; (ii)
alinhamento pela leitura do título; (iii)
alinhamento quanto ao reconhecimento científico; (iv)
alinhamento pela leitura do resumo; e,
(v) alinhamento pela leitura integral dos artigos. Ao final
dessa fase tem-se os Artigos
Primários do Portfólio Bibliográfico.
O teste de representatividade do PB, terceira fase, é
responsável por resgatar artigos
possivelmente descartados em processos anteriores, por meio da
análise das referências dos
Artigos Primários do PB.
A etapa de seleção do portfólio de artigos permite compor um
Portfólio
Bibliográfico, constituído pelos artigos considerados mais
relevantes na área de conhecimento
relativa ao tema de pesquisa, alinhados com a percepção dos
pesquisadores, conforme as
delimitações estabelecidas, pelos mesmos (pesquisadores), para a
pesquisa. O resultado da
seleção de portfólio de artigos é um conjunto de artigos
considerados relevantes pelo
pesquisador e que estejam alinhados com o tema definido para a
pesquisa. Denomina-se esse
conjunto de artigos como Portfólio Bibliográfico (LACERDA et
al., 2012).
Para Ensslin et al. (2012), o Portfólio Bibliográfico é um
conjunto restrito de
publicações com reconhecimento e destaque científico, com
Título, Resumo e Conteúdo
Completo, alinhados com um determinado tema segundo a percepção
e delimitações de um
pesquisador.
Deve-se salientar que a buscar pelos artigos que compõem o PB
fora realizada entre
a data de 31 de março de 2013 e 02 de abril de 2013.
-
3.1.1. SELEÇÃO DO BANCO DE ARTIGOS BRUTOS
Para dar-se início a etapa de Seleção do Banco de Artigos Brutos
é necessária a
definição dos eixos de pesquisa, realizada segundo a percepção
dos pesquisadores. O primeiro
e o segundo eixo estão intrinsecamente ligados ao tema central
do trabalho, ou seja,
Regulação e Serviços Públicos. O terceiro está relacionado à
necessidade de gerar
conhecimento nos pesquisadores em relação ao contexto,
permitindo seu monitoramento e
aperfeiçoamento. Desta forma, é justificado como terceiro eixo a
Avaliação de Desempenho.
Assim, a etapa de Seleção do Banco de Artigos Brutos é composta
por quatro fases
distintas: (a) definição das palavras-chave; (b) definição dos
bancos de dados; (c) busca dos
artigos nos bancos de dados com as palavras-chave; e (d)
realização de teste de aderência das
palavras-chave (AFONSO et al., 2011).
a) Definição das palavras-chave:
Foram definidas as palavras-chave iniciais para os três eixos de
pesquisa descritos
anteriormente: Eixo 1 – Regulação; Eixo 2 - Serviços Públicos;
e, Eixo 3 – Avaliação de
Desempenho. Esta etapa resultou a definição de quatro
palavras-chave para o primeiro eixo,
seis palavras chave para o segundo eixo e seis palavras-chave
para o segundo. Resulta-se,
então, a partir das combinações das palavras-chave dos eixos de
pesquisa, um total de 120
combinações de palavras-chave a serem utilizadas na busca por
artigos dentro das bases de
dados de publicações disponibilizadas pela CAPES. As
palavras-chave utilizadas no Eixo 1
foram: “REGULATION”, “REGULATOR”, “REGULATED” e “REGULATORY” .
No eixo
2, foram definidas as seguintes palavras-chave: “PUBLIC
UTILITIES”, “PUBLIC
SERVICES”, “PUBLIC SECTOR”, “UTILITY”, “REGULATED FIRMS” e
“UTILITY
PRIVATED”. O terceiro eixo apresentou as seguintes palavras
chave “PERFORMANCE
MEASUREMENT”, “PERFORMANCE ASSESSMENT”, “PERFORMANCE
EVALUATION”, “PERFORMANCE ANALYSIS” e “PERFORMANCE
APPRAISAL”.
b) Definição dos bancos de dados:
Em seguida, procurou-se pelas bases de dados para a realização
da pesquisa. Os
critérios utilizados para seleção das bases de dados foram que
as bases de dados deveriam: (i)
constar no Portal de Periódicos da CAPES; (ii) estar em uma das
seguintes três grandes áreas
da CAPES: Ciências Sociais Aplicadas, Engenharias e
Multidisciplinar, sendo essas três
grandes áreas as mais alinhadas com o tema da pesquisa; (iii)
disponibilizar ferramenta de
-
busca com a possibilidade de uso de expressões booleanas; (iv)
ter ferramentas que
disponibilizassem a possibilidade de pesquisar nos campos:
título (article title), resumo
(abstract) e palavras-chave (keywords). Outros critérios
estabelecidos para as buscas foram a
limitação temporal de 13 anos (2000 a 2013) e o tipo de
publicação (apenas do tipo Journal
Article).
Na sequência verificou-se o alinhamento das palavras-chave nas
bases de dados, por
meio da quantidade de artigos para as combinações de
palavras-chave. A seleção das bases de
dados deu-se a partir da verificação das bases que permitam
acesso integral via portal da
CAPES. Fora definido que as bases deveriam constar nas coleções
de Ciências Sociais
Aplicadas e Engenharia, e permitir a busca em Título, Resumo e
Palavras-chave, utilizando-se
de operações booleanas. Em um primeiro momento, foram
selecionadas doze bases de dados,
passando-se a teste de representatividade. As referidas bases
foram: INGENTA CONNECT,
ISI WEB OF KNOWLEDGE, HIGHWIRE, SCOPUS, PROQUEST, EMERALD,
SCIENCEDIRECT, EBSCO UFSC, EBSCO, JSTOR, ENGINEERING VILLAGE e
WILEY
Definiu-se como número mínimo de resultados para que a base
continuasse no
processo apenas um artigo. Atingiu-se o resultado desejado com
dez bases de dados:
INGENTA CONNECT, ISI WEB OF KNOWLEDGE, HIGHWIRE, SCOPUS,
PROQUEST,
EMERALD, SCIENCEDIRECT, EBSCO UFSC, EBSCO, JSTOR, ENGINEERING
VILLAGE
e WILEY. As bases EBSCO e JSTOR foram eliminadas, pois não
retornaram resultados para
as combinações anteriormente definidas.
c) Busca dos artigos nos bancos de dados com as
palavras-chave:
Essa etapa consistiu em realizar a busca em cada base de dados
por meio das
combinações de palavras-chave. As 120 combinações de
palavras-chave pesquisadas nas 10
bases de dados resultaram em 485 publicações que passaram a
compor um portfólio inicial
denominado Banco de Artigos Brutos. Foram utilizadas
delimitações durante as buscas.
Dentre as delimitações podemos citar a limitação temporal,
partindo dos artigos publicados a
partir do ano 2000 até a realização da referida etapa desta
pesquisa (abril/2013), somente são
aceitos artigos provenientes de revistas científicas e as
pesquisas são realizadas apenas nos
títulos, resumos e palavras-chave dos artigos.
d) Realização de teste de aderência das palavras-chave:
Por fim, para conclusão da fase de seleção do banco de artigos
brutos para formar o
Portfólio Bibliográfico sobre “Avaliação de Desempenho na
Regulação de Serviços
-
Públicos”, fora realizado o teste de aderência das
palavras-chave. Se necessário, novas
palavras-chave devem ser incorporadas ao rol destas e uma nova
busca é realizada com a
palavra-chave incluída. Para a realização do teste de aderência
foram selecionados,
aleatoriamente, seis artigos dentre as 485 publicações que
compõe o Banco de Artigos Brutos.
Foram identificadas as palavras-chave de cada um dos artigos
selecionados, sendo verificado
se estas palavras-chave coincidiam com aquelas definidas para a
pesquisa. Como resultado
foram identificadas 33 palavras-chave pertencentes aos seis
artigos selecionados, onde
verificou-se que a palavra-chave “Performance Indicators” é
relevante para a pesquisa e foi
agregada a às anteriores, realizando-se uma nova pesquisa.
A nova pesquisa totalizou o número de 613 artigos, utilizando-se
das 144
combinações agora definidas. Um novo teste de aderência é
realizado, selecionando-se cinco
artigos desta vez. Como resultado do teste, ficou evidenciado
que, foram elicitadas 26
palavras-chave pertencentes aos cinco artigos, mas nenhuma nova
palavra-chave foi
adicionada. Desta forma, avançou-se ao desenvolvimento da
próxima etapa, Filtragem do
Banco de Artigos Brutos.
3.1.2. FILTRAGEM DO BANCO DE ARTIGOS BRUTOS
Na etapa de filtragem do Banco de Artigos Brutos os 613 artigos
do Banco de
Artigos Brutos foram avaliados quanto aos seguintes aspectos: i)
se os artigos não estão
repetidos (redundância); ii) se os títulos dos artigos estão
alinhados com o tema da pesquisa;
iii) se os artigos possuem reconhecimento científico; iv) se os
resumos dos artigos estão
alinhados com o tema da pesquisa; e v) se o texto integral dos
artigos está alinhado com o
tema da pesquisa (TASCA, et al., 2010).
O primeiro aspecto, verificação de redundância dos artigos,
consistiu na importação
dos artigos para um software de gerenciamento bibliográfico.
Desta forma, importou-se para o
software Endnote (THE THOMSON..., 2008) os 613 artigos do banco
de artigos bruto. Após
a importação, o software permite a exclusão dos artigos
repetidos. Desta forma, foram
excluídos 191 artigos repetidos e restaram 422 artigos não
repetidos.
Na análise quanto ao alinhamento do título em relação ao tema da
pesquisa, foi
detectado que uma quantidade considerável de artigos
selecionados estava direcionada à área
da medicina, psicologia, farmácia, etc., portanto, estando fora
do escopo da pesquisa, sendo
removidos, entre outros motivos, 332 artigos. Restaram 90
artigos não duplicados e com o
título alinhado ao tema da pesquisa. Deve-se salientar que foram
excluídos aqueles artigos
-
que apresentaram total desalinhamento com a pesquisa, e, na
dúvida, foram mantidos para
análise mais detalhada nas fases seguintes.
A próxima fase consiste em verificar o reconhecimento científico
dos artigos. Neste
processo o reconhecimento científico é aferido pelas citações em
outros trabalhos científicos.
Assim, identificou-se a quantidade de vezes que cada artigo foi
citado. Para fins de
padronização buscou-se a quantidade de citações de cada artigo
no ambiente Google Scholar.
Ficou estabelecido pelos autores que seriam considerados os
artigos que fossem responsáveis
por 90% de todas as citações dos artigos que passaram pelas
fases anteriores. Desta forma, os
artigos que possuem 14 citações, ou mais, foram mantidos no
Repositório K (Banco de
Artigos não Repetidos e Título Alinhado e com Reconhecimento
Científico), que resultou em
26 artigos, e os demais foram enviados para o Repositório P
(Banco de Artigos não Repetidos
e Título Alinhado, com Reconhecimento Científico ainda não
confirmado), que resultaram em
64 artigos.
O próximo passo consistiu em realizar a leitura dos 26 resumos
dos artigos do
Repositório K com o objetivo de verificar o alinhamento do
artigo com o tema de pesquisa.
Após essa etapa restaram 13 artigos que foram armazenados no
Repositório A (Banco de
Artigos não Repetidos e Título e Resumo Alinhado e com
Reconhecimento Científico). Dos
artigos do Repositório A, são verificados os autores, que
resultaram em 19 e são apresentados
na Tabela 1, os quais serão utilizados na próxima etapa.
Tabela 1 – Relação do Banco de Autores constantes nos artigos do
Repositório A
Fonte: Dados da pesquisa
A etapa seguinte teve o objetivo de filtrar os artigos do
Repositório P, ou seja, os 64
artigos com menor reconhecimento científico foram analisados
para identificar quais
continuariam no processo. São considerados fatores como período
de publicação e se os
autores possuem reconhecimento científico, estando presentes
como autores dos artigos do
-
Repositório A, constantes na Tabela 1. Essa etapa é ilustrada na
Figura 4. Os 2 artigos
identificados nessa etapa foram depositados no Repositório
B.
Figura 4 – Filtro utilizado para selecionar os artigos com menor
reconhecimento científico
Fonte: Dados da pesquisa.
Na sequência juntaram-se os artigos armazenados nos Repositórios
A (13 artigos) e
B (2 artigos) formando um único, denominado Repositório C,
composto por 15 artigos.
Finalizando a etapa de filtragem do Banco de Artigos Brutos, os
15 artigos
selecionados foram analisados em relação a disponibilidade e ao
alinhamento do texto integral
com o tema da pesquisa. Todos os artigos puderam ser acessados
via CAPES gratuitamente.
A análise quanto ao alinhamento do texto completo em relação ao
tema da pesquisa, reduziu a
13 artigos o número de artigos com alinhamento do texto completo
com o tema da pesquisa,
respeitando-se a subjetividade do pesquisador. Estes artigos
compõem o denominado Artigos
Primários do Portfólio Bibliográfico.
3.1.3. TESTE DE REPRESENTATIVADE DO PB
A partir dos Artigos Primários do Portfólio Bibliográfico foram
buscadas as
referências bibliográficas, objetivando obter a relação de todos
os artigos científicos ali
constantes. Primeiramente foram constatadas 527 referências
brutas. Após o tratamento,
eliminação de referências duplicadas e eliminação de referências
que não fossem do tipo
Jounal Article, desalinhadas ao tema de pesquisa e publicadas
antes de 2000, têm-se como
resultado 21 artigos. Destes artigos, fora realizada uma análise
representando 80% das
citações totais, determinado pelo Google Scholar, buscando
incluir artigos alinhados com
representação científica que por algum motivo não estejam no
Portfólio Bibliográfico.
-
Esses 80% representam 9 artigos, com ponto de corte em 50
citações, dos 21
anteriormente citados. Dentre os 9 artigos, 3 deles já estavam
contidos nos Artigos Primários
do Portfólio Bibliográfico, restando 6 artigos para re-análise.
É realizada a leitura dos
resumos desses artigos, evidenciando-se alinhamento quanto a
resumo confirmado. Os artigos
selecionados são então analisados em relação a disponibilidade e
ao alinhamento do texto
integral com o tema da pesquisa. Todos os artigos puderam ser
acessados gratuitamente via
CAPES. Na etapa de análise do texto integral foram eliminados 3
artigos, por estarem
desalinhados conforme a percepção do pesquisador, restando
outros 3 artigo julgados
integralmente alinhados. Esses 3 artigos alinhados são
incluídos, então, ao Portfólio
Bibliográfico.
O processo de filtragem resultou em um Portfólio Bibliográfico
formado pelos 16
artigos listados no Quadro 1.
Quadro 1 – Portfólio Bibliográfico final de artigos
1. THANASSOULIS, Emmanuel. DEA and its use in the regulation of
water companies. European Journal of Operational Research, v. 127,
n. 1, p. 1-13, 2000. 2. THANASSOULIS, Emmanuel. The use of data
envelopment analysis in the regulation of UK water utilities: water
distribution. European Journal of Operational Research, v. 126, n.
2, p. 436-453, 2000. 3. FRAQUELLI, Giovanni; VANNONI, Davide.
Multidimensional performance in telecommunications, regulation and
competition: analysing the European major players. Information
Economics and Policy, v. 12, n. 1, p. 27-46, 2000. 4. JAMASB,
Tooraj; POLLITT, Michael. Benchmarking and regulation:
international electricity experience. Utilities Policy, v. 9, n. 3,
p. 107-130, 2001. 5. THANASSOULIS, Emmanuel. Comparative
performance measurement in regulation: the case of English and
Welsh sewerage services. Journal of the Operational Research
Society, p. 292-302, 2002. 6. EDVARDSEN, Dag Fjeld; FØRSUND, Finn
R. International benchmarking of electricity distribution
utilities. Resource and energy Economics, v. 25, n. 4, p. 353-371,
2003. 7. JAMASB, Tooraj; POLLITT, Michael. International
benchmarking and regulation: an application to European electricity
distribution utilities. Energy Policy, v. 31, n. 15, p. 1609-1622,
2003.
8. JAMASB, Tooraj; NILLESEN, Paul; POLLITT, Michael. Strategic
behaviour under regulatory benchmarking. Energy Economics, v. 26,
n. 5, p. 825-843, 2004.
9. TUPPER, Henrique Cesar; RESENDE, Marcelo. Efficiency and
regulatory issues in the Brazilian water and sewage sector: an
empirical study. Utilities Policy, v. 12, n. 1, p. 29-40, 2004. 10.
FARSI, Mehdi; FILIPPINI, Massimo. Regulation and measuring
cost-efficiency with panel data models: Application to electricity
distribution utilities. Review of Industrial Organization, v. 25,
n. 1, p. 1-19, 2004.
11. GIANNAKIS, Dimitrios; JAMASB, Tooraj; POLLITT, Michael.
Benchmarking and incentive regulation of quality of service: an
application to the UK electricity distribution networks. Energy
Policy, v. 33, n. 17, p. 2256-2271, 2005.
-
12. POMBO, Carlos; TABORDA, Rodrigo. Performance and efficiency
in Colombia's power distribution system: effects of the 1994
reform. Energy Economics, v. 28, n. 3, p. 339-369, 2006. 13.
JAMASB, Tooraj; POLLITT, Michael; TRIEBS, Thomas. Productivity and
efficiency of US gas transmission companies: A European regulatory
perspective. Energy Policy, v. 36, n. 9, p. 3398-3412, 2008. 14.
MARQUES, Rui Cunha; SIMÕES, Pedro. Incentive regulation and
performance measurement of the Portuguese solid waste management
services. Waste Management & Research, v. 27, n. 2, p. 188-196,
2009. 15. GUIMARÃES, Bernardo; SIMÕES, Pedro; MARQUES, Rui Cunha.
Does performance evaluation help public managers? A Balanced
Scorecard approach in urban waste services. Journal of
environmental management, v. 91, n. 12, p. 2632-2638, 2010. 16.
ÇELEN, Aydın; YALÇIN, Neşe. Performance assessment of Turkish
electricity distribution utilities: An application of combined
FAHP/TOPSIS/DEA methodology to incorporate quality of service.
Utilities Policy, 2012.
Fonte: Dados da pesquisa.
3.2. Análise Bibliométrica
Seguindo a metodologia ProKnow-C, passa-se a etapa de Análise
Bibliométrica.
Essa bibliometria consiste na aplicação de métodos matemáticos e
estatísticos de um conjunto
definido de artigos para a gestão da informação e do
conhecimento científico do tema de
pesquisa (AFONSO et al., 2011; ENSSLIN et al., 2012).
Os documentos serão avaliados segundo: (i) periódicos; (ii)
publicações (artigos);
(iii) autores; e, (iv) palavras-chave (LACERDA et al., 2012). O
conjunto de dados a serem
submetidos à análise bibliométrica são os 16 artigos
pertencentes ao Portfólio Bibliográfico
(Quadro 1) e suas respectivas 106 referências bibliográficas,
que respeitam as delimitações de
serem artigos científicos e que foram publicados a partir do ano
2000. Os dados utilizados
para realizar a análise bibliométrica foram registrados durante
abril de 2013 e finalizou-se a
pesquisa em 05 de maio de 2013.
a) Periódicos de destaque
O periódico de maior destaque no PB e nas suas referências é o
Utilities Policy, o
qual apareceu três vezes no PB e nove vezes nas referências do
PB. O referido periódico
possui fatores de impacto calculados pelo JCR e SJR, registrando
0.804 e 0.797,
respectivamente.
O periódico Energy Policy destaca-se no PB, aparecendo três
vezes e sete vezes nas
referências do PB. Os fatores de impacto do periódico são 2.723
e 1.386, para o JCR e SJR,
respectivamente, sendo o maior fator JCR dentre os existentes no
PB.
-
Gráfico 1 – Relevância dos Periódicos
Fonte: Dados da pesquisa.
b) Artigos de destaque
Os artigos do PB foram analisados segundo o número de citações
no Google Scholar
e o número de citações do autor mais citado do artigo nas
referências do PB, visando
evidenciar os artigos de destaque escritos por autores de
destaque.
O artigo escrito por Jamasb e Pollitt (2001), “Benchmarking and
regulation:
international electricity experience”, é um artigo de destaque
escrito por autores de destaque.
Possui 322 citações no Google Scholar e seu autor mais
destacado, Michael Pollitt, aparece
em oito artigos das referências do PB.
Outros artigos escritos por Pollitt destacam-se como artigos
escritos por autores de
destaque (JAMASB e POLLIT, 2003; GIANNAKIS, JAMASB e POLLITT,
2005; JAMASB,
NILLESEN e POLLITT, 2004; JAMASB, POLLITT e TRIEBS, 2008).
Gráfico 2 – Artigos de destaque
Utilities PolicyEnergy Policy
0
1
2
3
4
0 1 2 3 4 5 6 7 8 9 10
N. d
e a
rtig
os
no P
ort
fólio
Bib
liog
ráfi
co
N. de artigos nas Referências do PB
Relevância dos Periódicos presentes no Portfólio Bibliográfico e
Referências
Destaques no PB
Destaques no PB e nas Referências
-
Fonte: Dados da pesquisa.
c) Autores de destaque
Para analisar os autores de maior destaque são utilizadas duas
variáveis, número de
artigos do autor no PB e número de artigos desses autores nas
referências dos artigos do PB.
O objetivo é verificar os autores de destaque no PB e nas suas
referências.
O autores Michael Pollitt e Tooraj Jamasb são considerados
autores de destaque
tanto no PB quanto nas suas referências. Os dois autores possuem
cinco artigos escritos
constantes no PB, e 8 e 7 artigos nas referências do PB. Os
autores são filiados as
Universidades de Cambridge e Universidade de Durham,
respectivamente, e trabalham na
área de regulação, principalmente no setor elétrico.
Gráfico 3 – Autores de destaque
Jamasb; Pollitt (2001)
0
50
100
150
200
250
300
350
0 1 2 3 4 5 6 7 8 9
n. d
e c
itaçõ
es
do a
rtig
o d
o P
ort
fólio
Bib
liog
ráfi
co
no G
oogl
e Sc
hola
r
n. de citações do autor mais citado do artigo nas Referências do
Portfólio Bibliográfico
Artigos e seus autores do Portfólio Bibliográfico de maior
destaque Artigos de destaque
realizado por autores de destaque
Artigos realizados
por autores de destaque
-
Fonte: Dados da pesquisa.
d) Palavras-chave de destaque
As palavras-chave mais utilizadas são Benchmarking, Data
Envelopment Analysis e
Regulation, as quais fazem parte de seis artigos dos 16 artigos
do PB. Nessa fase verificou-se
a consistência das palavras-chave definidas no início do
processo, o qual não se constatou a
necessidade de incluir novas palavras-chave no processo,
confirmando a validade de todo o
processo.
3.3. Análise Sistêmica
Nesta etapa os artigos do Portfólio Bibliográfico, apresentados
no Quadro 1, serão
analisados conforme as seis lentes evidenciadas na Figura 3,
segundo a filiação teórica da
avaliação de desempenho adotada.
3.3.1. LENTE 1 – ABORDAGEM
De acordo com Roy (1993), as abordagens dividem-se em realistas,
prescritivistas e
construtivistas. Chaves et al. (2013) destacam que Roy (1993)
trata as abordagens
normativistas e descritivistas como realistas.
Os resultados demonstram que na totalidade dos artigos do PB, 14
deles utilizam-se
de abordagens descritivistas. Outros 2 artigos, abordagens
normativistas. O artigo de
Guimarães et al. (2010) poderia ser enquadrado com
prescritivista, devido a utilização da
ferramenta Balanced Scorecard, mas devido a utilização de
critérios definidos na literatura é
enquadrado como normativista. O resultado pode ser visualizado
no Gráfico 1 da Figura 5.
Pollitt, M.
Jamasb, T.
0
1
2
3
4
5
6
0 1 2 3 4 5 6 7 8 9n. d
e a
rtig
os
do a
uto
r no
Po
rtfó
lio B
iblio
grá
fico
n. de artigos do autor do Portfólio Bibliográfico nas
Referências do Portfólio Bibliográfico
Autores de destaque do Portfólio Bibliográfico Autores de
destaque no PB e
Referências
-
Fica evidenciado que nenhum artigo do PB se utiliza de
abordagens prescritivistas e,
sobretudo, construtivistas.
A próxima análise refere-se a harmonia entre o modelo e sua
utilização, ou seja, se o
modelo se propõe a ser genérico e é aplicado a um ambiente
genérico, ou se o modelo é
desenvolvido para um ambiente específico e é aplicado a um
decisor específico. Fica
evidenciado que 14 dos artigos do PB têm harmonia entre o modelo
e sua utilização, e 2 deles
são incompatíveis para o fim que são desenvolvidos, pois são
desenvolvidos para contextos
genéricos e se propõem a serem aplicadas a um decisor
específico. O Gráfico 2 da Figura 5
demonstra o resultado.
Figura 5 – Análise das abordagens (Lente 1)
Fonte: Dados da pesquisa
A maioria das pesquisas dos artigos do PB são realizadas segundo
a abordagem
realista. A maior parte delas devido a utilização do modelo Data
Envelopment Analysis
(DEA), avaliando o desempenho com base em outras empresas,
realizando uma espécie de
Benchmarking, caracterizando-se como abordagens descritivistas,
por realizarem inferências
de acontecimentos passados a fim de utilizá-los para tomada de
decisões presentes.
Esperava-se que não fossem encontrados modelos construtivistas,
ou personalizados,
devido a sua utilização, ainda, por minorias (CHAVES et al.,
2013). Roy (1993) afirma que a
abordagem construtivista visa o apoio à decisões, e os modelos
são construídos com base no
decisor. O facilitador tem a função de extrair as percepções
deste decisor para definir o que é
importante para este decisor avaliar o desempenho. Torna-se uma
grande oportunidade de
pesquisa a criação de um modelo que preencha essa lacuna na
literatura para esta área de
conhecimento.
3.3.2. LENTE 2 – SINGULARIDADE
A lente singularidade avalia se os artigos reconhecem o contexto
em que se está
avaliando o desempenho e se existe a explicitação da
participação do decisor.
14 (B)
2 (A)
Gráfico 1
Abordagens Normativistas (A)
Abordagens Descritivistas (B)
Abordagens Prescritivistas (C)
Abordagens Construtivistas (D)
14
2
Gráfico 2
Há hamonia entre a abordagem e aplicação
Não há harmonia entre a abordagem e aplicação
-
Dentre os artigos do PB, todos reconhecem o ambiente aos quais
estão sendo
avaliados segundo o desempenho, conforme visualizado no Gráfico
1 da Figura 6. Porém,
quando é avaliado o reconhecimento do decisor, apenas 2 artigos
reconhecem a existência de
atores para o contexto. O resultado era esperado, devido a
evidência que os artigos do PB se
utilizam de abordagens realistas para construção dos modelos,
mas se tornam possivelmente
falhos para utilização de decisores específicos. A análise pode
ser verificada no Gráfico 2 da
Figura 6.
Figura 6 – Análise da Singularidade (Lente 2)
Fonte: Dados da pesquisa
3.3.3. LENTE 3 – PROCESSO PARA IDENTIFICAR VALORES E
PREFERÊNCIAS
A lente 3 busca analisar se a percepção do decisor é levada em
conta para a definição
das características dos modelos de avaliação de desempenho e se
utilizam-se da expansão do
conhecimento no decisor.
Conforme se verifica no Gráfico 1 da Figura 7, os critérios
identificados nos modelos
não são inerentes aos decisores, sendo que em 14 deles nem ao
menos se reconhece o decisor,
e outros 2 apenas a operacionalização dos critérios são
relacionados aos decisores.
Nenhum dos artigos do PB levam em conta a expansão de
conhecimento do decisor,
como pode ser observado no Gráfico 2 da Figura 7.
Figura 7 – Processo para identificar (Lente 3)
Fonte: Dados da pesquisa
16 (A)
Gráfico 1
Reconhecem o contexto físico (A)
Não reconhecem o contexto físico (B)
14 (A)
2 (B)
Gráfico 2
Não há reconhecimento do decisor (A)Há reconhecimento do decisor
(B)
14 (A)
2 (B)
Gráfico 1
Não reconhece o decisor (A)
Os critérios identificados são externos ao decisor, mas a
operacionalização é segundo os seus valores (B)
Alguns critérios são trazidos externamente e o decisor pode
acrescentar outros critérios (C)
Os critérios e a sua operacionalização são segundo os valores do
decisor (D) 16 (A)
Gráfico 2
Não levam em conta a expansão de conhecimento do decisor (A)
Levam em conta a expansão de conhecimento no decisor somente na
operacionalização dos critérios (B)
Levam em conta os limites de conhecimento do decisor na
operacionalização e identificação dos critérios (C)
-
Esperava-se que os modelos de avaliação de desempenho
desenvolvessem a
expansão do conhecimento a respeito do contexto no decisor, mas
como fica evidenciado, os
artigos do PB não atendem essa necessidade.
Grande parte dos critérios definidos, nos artigos do PB para
avaliar o desempenho,
são buscados apenas na literatura, ou por reconhecimento de
acontecimentos e dados
passados. A partir dessas evidencias surge a oportunidade de
desenvolver um modelo que
apresente esses critérios com base na definição de um decisor, e
que se utilize da expansão do
conhecimento desse para operacionalização e identificação destes
critérios.
3.3.4. LENTE 4 – MENSURAÇÃO
A quarta lente, mensuração, busca verificar se a mensuração dos
objetivos atende os
critérios da teoria da mensuração. Esses critérios são
mensurabilidade, operacionabilidade,
não ambiguidade (ou inteligibilidade) e homogeneidade (CHAVES et
al., 2013).
Após análise dos artigos do PB verificou-se que os artigos
realizam a mensuração,
sem reconhecer a diferença entre escalas ordinais e cardinais.
Os princípios da teoria da
mensuração ficam comprometidos: a) nas escalas ordinais, quanto
às propriedades da
homogeneidade e não ambiguidade; b) nas escalas cardinais, por
deixar de considerar que a
diferença de atratividade entre os níveis possa ser diferente.
Esta deficiência impede que
sejam realizadas, nessas escalas, operações estatísticas, tais
como média e desvio padrão.
Desta forma, a Figura 8 demonstra o resultado, onde nenhum dos
artigos atende a todas as
propriedades da teoria da mensuração.
Figura 8 – Mensuração (Lente 4)
Fonte: Dados da pesquisa
Espera-se que um modelo de avaliação de desempenho atenda as
propriedades da
teoria da mensuração, com o objetivo de permitir confiabilidade
e precisão aos dados e
informações gerados a partir dos resultados trazidos (CHAVES et
al., 2013).
16 (A)
Não atendem as propriedades da teoria da mensuração (A)
Atendem todas as propriedades da teoria da mensuração (B)
-
3.3.5. LENTE 5 – INTEGRAÇÃO A lente 5 objetiva verificar se os
artigos do PB permitem, a partir dos seus modelos,
uma visão holística e sistêmica do desempenho, ou seja, de forma
integrada, não apenas uma
soma de todas as variáveis.
Conforme apresentado na Figura 9, nenhum dos artigos se
manifesta a respeito da
integração das variáveis a fim de tornar os resultados como um
sistema completo. O artigo de
Çelen e Yalçın (2012) apresenta uma certa ligação entre as
variáveis, mas não apresenta a
visão holística buscada.
Figura 9 – Análise da integração (Lente 5)
Fonte: Dados da pesquisa
A lente integração, ao não ser encontrada em nenhuma das
pesquisas do PB,
evidencia uma oportunidade de contribuição para a área quando
realiza a integração dos
aspectos julgados relevantes uma vez que isto permitirá a
mensuração da performance global
(holística, sistêmica).
3.3.6. LENTE 6 – GESTÃO
Completando a análise de conteúdo permitida pela análise
sistêmica, tem-se a sexta
lente, que objetiva verificar se os modelos permitem a
visualização do desempenho atual
(status quo) e se possibilitam ações de aperfeiçoamento.
Os artigos do PB utilizam escalas que não permitem o
entendimento do status quo.
Desta forma, como verificado no Gráfico 1 da Figura 10, nenhum
dos artigos permite
visualizar a situação atual ou fazem o diagnóstico do status
quo.
De acordo com o Gráfico 2 da Figura 10, a maioria dos artigos do
PB não se
preocupa com ações de aperfeiçoamento, sendo que apenas um
artigo cita o que deveria
melhorar, mas não apresenta o processo para realizá-lo.
Figura 10 – Análise da Gestão (Lente 6)
16 (B)
Realiza a integração das escalas do modelo de avaliação de
desempenho (A)Não se manifestam quanto a integração (B)
-
Fonte: Dados da pesquisa
Visualizando-se o diagnóstico da situação atual o decisor teria
informações para
definir as prioridades de melhoria, e a partir da evidenciação
de processos de aperfeiçoamento
possibilita maior eficácia na conclusão dos processos de
melhoria.
4. CONCLUSÕES E OPORTUNIDADES DE PESQUISAS
Evidenciada a importância da regulação de serviços públicos para
o atual cenário
econômico, busca-se na literatura métodos e modelos de gestão
para avaliar o desempenho
dessas estruturas regulatórias. Surge a necessidade de conhecer
o que já foi abordado em
trabalhos anteriores e identificar as lacunas e oportunidades
para o tema.
O presente trabalho teve como objetivo realizar o mapeamento e
análise de uma
seleção de artigos sobre o tema avaliação de desempenho na
regulação de serviços públicos.
Para cumprir determinado objetivo, adotou-se a ferramenta
ProKnow-C. A partir do
ProKnow-C selecionou-se um Portfólio Bibliográfico alinhado com
o tema de pesquisa,
segundo as percepções dos autores, composto de 16 artigos,
apresentados no Quadro 1.
Realizou-se a análise bibliométrica dos artigos deste Portfólio
Bibliográfico, o qual
conclui-se que: (i) o periódico mais destacado para o tema é
Utilities Policy; (ii) o artigo
"Benchmarking and regulation: international electricity
experience" de Jamasb e Pollitt é o
artigo com maior reconhecimento científico; (iii) os autores
mais destacados são Michael
Pollitt e Tooraj Jamasb, sendo os que mais apareceram no PB e
suas referências; e, (iv) as
palavras-chave que mais apareceram foram Benchmarking, Data
Envelopment Analysis e
Regulation.
A realização da análise sistêmica avaliou os artigos segundo as
seis lentes contidas
na Figura 3. A primeira lente verificou que 14 artigos do PB
(87,5% do PB) atendem a
harmonia entre a abordagem a sua aplicação. A segunda lente
evidenciou que todos os artigos
do PB reconheceram o contexto a que se aplicam, e apenas 2
artigos (12,5% do PB)
reconhecem a singularidade do decisor. A terceira lente
evidencia que em nenhum artigo há
16 (A)
Gráfico 1
Não fazem o diagnóstico (A)
Diagnóstico descritivo (B)
Diagnóstico numérico (C)
Diagnóstico numérico e gráfico (D)15 (A)
1 (B)
Gráfico 2
Não se preocupam com aperfeiçoamento (A)
Ações de aperfeiçoamento sem processo (B)
Ações de aperfeiçoamento com processo e não hierarquizadas
(C)
Ações de aperfeiçoamento com processo e hierarquizadas (D)
-
preocupação com a expansão de conhecimento do decisor. A quarta
lente verificou o
atendimento as propriedades da teoria da mensuração. Nenhum dos
artigos atendeu a todas as
propriedades. Também fora verificado que nenhum dos artigos
realiza a integração dos
critérios, a fim de possibilitar uma visão holística do sistema,
resultado da lente 5. Em relação
a última lente, nenhum dos artigos possibilitou apresentar o
status quo, e apenas 1 artigo
apresentou ações de aperfeiçoamento, mesmo que sem processo.
Segundo as análises realizadas nos conteúdos dos artigos do PB,
surgem
oportunidades de pesquisa, as quais os artigos não preenchem a
lacuna do conhecimento.
Dentre as lacunas encontradas, o desenvolvimento de modelos
personalizados é um
diferencial para esta área de conhecimento. Deve-se levar em
consideração a necessidade de
expandir o conhecimento do decisor para a identificação e
operacionalização dos critérios a
serem avaliados, assim como as preferências deste decisor.
Tendo em vista que os artigos do PB utilizam escalas de
mensuração sem reconhecer
a diferença entre escala ordinal e cardinal, assim como, sem se
preocupar com o que a escala
ordinal seja homogênea e não ambígua, evidencia-se a
oportunidade de incorporar esses
princípios básicos da teoria da mensuração nas pesquisas dessa
área e na construção de
modelos de avaliação de desempenho.
Realizar a integração dos aspectos julgados relevantes,
permitindo a análise do
desempenho global, e proporcionando a visão holística e
sistêmica surge também como
oportunidade. E ainda, demonstrar o diagnóstico atual de forma
gráfica e numérica,
proporcionando e evidenciando ações de aperfeiçoamento de forma
hierárquica.
Para finalizar o ProKnow-C, como verificado na Figura 2, a
partir de todo o
conhecimento construído durante o processo, surge a seguinte
pergunta de pesquisa para
trabalhos futuros: “Como avaliar o desempenho na Regulação de
Serviços Públicos de forma
a reconhecer sua singularidade e decisor, atender aos princípios
da teoria da mensuração,
realizar integração dos critérios, possibilitar o monitoramento
gráfico e numérico e permitir o
aperfeiçoamento do contexto com processo e hierarquização das
alternativas?”
O trabalho limitou-se a buscar artigos científicos da faixa
temporal do ano 2000 a
2013, nas bases de dados definidas pelos pesquisadores, com
acesso permitido pelo portal da
CAPES.
Para trabalhos futuros, sugere-se a construção de um modelo de
avaliação de
desempenho para a área de regulação de serviços públicos que
atenda a todas as lentes
definidas pelo ProKnow-C, observadas na Figura 3.
-
REFERÊNCIAS ALAVI, M.; CARLSON, P. A review of MIS research and
disciplinary development. Journal of Management Information
Systems, v. 8, n. 4, p. 45-62, 1992. BORTOLUZZI, S. C.; ENSSLIN, S.
R.; ENSSLIN, L.; VALMORBIDA, S. M. I. A avaliação de desempenho em
redes de pequenas e médias empresas: estado da arte para as
delimitações postas pelo pesquisador. Revista Eletrônica de
Estratégia & Negócios, Florianópolis, v. 4, n. 2, p. 202-222,
jun./dez, 2011. ÇELEN, A.; YALÇIN, N. Performance assessment of
Turkish electricity distribution utilities: An application of
combined FAHP/TOPSIS/DEA methodology to incorporate quality of
service. Utilities Policy, 2012. CHAVES, L. C; ENSSLIN, L; ENSSLIN,
S. R.; VALMORBIDA, S. M. I.; ROSA, F. S. Sistemas de apoio à
decisão: mapeamento e análise de conteúdo. Revista Eletrônica de
Ciência Administrativa-RECADM , v. 12, n. 1, p. 6-22, 2013.
EDVARDSEN, D. F.; FØRSUND, F. R. International benchmarking of
electricity distribution utilities. Resource and energy Economics,
v. 25, n. 4, p. 353-371, 2003. ENSSLIN, L.; ENSSLIN, S. R.;
PACHECO, G. C. Um estudo sobre segurança em estádios de futebol
baseado na análise bibliométrica da literatura internacional.
Perspectivas em Ciência da Informação, v.17, n.2, p.71-91,
abr./jun, 2012.
FARSI, M.; FILIPPINI, M. Regulation and measuring
cost-efficiency with panel data models: Application to electricity
distribution utilities. Review of Industrial Organization, v. 25,
n. 1, p. 1-19, 2004. FRAQUELLI, G.; VANNONI, D. Multidimensional
performance in telecommunications, regulation and competition:
analysing the European major players. Information Economics and
Policy, v. 12, n. 1, p. 27-46, 2000. GIANNAKIS, D.; JAMASB, T.;
POLLITT, M.. Benchmarking and incentive regulation of quality of
service: an application to the UK electricity distribution
networks. Energy Policy, v. 33, n. 17, p. 2256-2271, 2005. GIL. A.
C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 1999.
GUIMARÃES, B.; SIMÕES, P.; MARQUES, R. C. Does performance
evaluation help public managers? A Balanced Scorecard approach in
urban waste services. Journal of environmental management, v. 91,
n. 12, p. 2632-2638, 2010. JAMASB, T.; POLLITT, M.. Benchmarking
and regulation: international electricity experience. Utilities
Policy, v. 9, n. 3, p. 107-130, 2001. JAMASB, T.; POLLITT, M.
International benchmarking and regulation: an application to
European electricity distribution utilities. Energy Policy, v. 31,
n. 15, p. 1609-1622, 2003.
-
JAMASB, T.; NILLESEN, P.; POLLITT, M. Strategic behaviour under
regulatory benchmarking. Energy Economics, v. 26, n. 5, p. 825-843,
2004. JAMASB, T.; POLLITT, M.; TRIEBS, T. Productivity and
efficiency of US gas transmission companies: A European regulatory
perspective. Energy Policy, v. 36, n. 9, p. 3398-3412, 2008.
KISSLER, L.; HEIDEMANN, F. G. Governança pública: novo modelo
regulatório para as relações entre Estado, mercado e sociedade?
Revista de Administração Pública, v. 40, p. 479-499, mai./jun.,
2006. LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. Contribuições
à gestão estratégica de organizações quando analisados na visão de
seu desempenho. Gestão Organizacional, v. 9, n. 2, p. 327-358,
2011. ______. Uma análise bibliométrica da literatura sobre
estratégia e avaliação de desempenho. Gestão & Produção, São
Carlos, v. 19, n. 1, p. 59-78, 2012. MARQUES, R. C.; SIMÕES, P.
Does the sunshine regulatory approach work?. Governance and
regulation model of the urban waste services in Portugal.
Resources, Conservation and Recycling, v.52, n.8-9, p.1040-1049.
2008. MARQUES, R. C.; SIMÕES, P. Incentive regulation and
performance measurement of the Portuguese solid waste management
services. Waste Management & Research, v. 27, n. 2, p. 188-196,
2009. PECI, A,; CAVALCANTI, B. S. Reflexões sobre a autonomia do
órgão regulador: análise das agências reguladoras estaduais.
Revista de Administração pública, v. 34, n. 5, p. 99 a 118, 2002.
PECI, A. Desenho de uma estratégia de implantação e
institucionalização da AIR. In: PROENÇA, J. D. (Org). Contribuições
para melhoria da qualidade da regulação no Brasil. Volume I. Semear
Editora Gráfica: Brasília, 2010. POMBO, C.; TABORDA, R. Performance
and efficiency in Colombia's power distribution system: effects of
the 1994 reform. Energy Economics, v. 28, n. 3, p. 339-369, 2006.
RICHARDSON, R. J. Pesquisa social: métodos e técnicas. São Paulo:
Atlas, 1999. ROCHA, R. B. R. Órgãos Reguladores no Brasil. In: DI
PIETRO, M. S. (Coord). Direito Regulatório: Temas Polêmicos. 2. ed.
rev. e ampl. Fórum: Belo Horizonte, 2004. ROY, B. Decision science
or decision-aid science? European Journal of Operational Research,
66(2), 184-203, 1993. SÁ-SILVA, J. R.; ALMEIDA, C. D.; GUINDANI, J.
F. Pesquisa documental: pistas teóricas e metodológicas. Revista
Brasileira de História & Ciências Sociais, n. 1, 2009. STERN,
J.; HOLDER, S. Regulatory governance: criteria for assessing the
performance of regulatory systems. An application to infrastructure
industries in the developing countries of Asia. Utilities Policy,
v. 8, p. 33-50, 1999.
-
ROSA, F. S., ENSSLIN, S. R., ENSSLIN, L., LUNKES, R. J. Gestão
da evidenciação ambiental: um estudo sobre as potencialidades e
oportunidades do tema. Engenharia Sanitária e Ambiental, v. 16, n.
2, p. 157-166, abr./jun, 2011. TASCA, J. E.; ENSSLIN, L.; ENSSLIN,
S. R.; ALVES; M. B. M. An approach for selecting a theoretical
framework for the evaluation of training programs. Journal of
European Industrial Training , Vol. 34, N. 7, pp. 631-655, 2010.
THANASSOULIS, E. DEA and its use in the regulation of water
companies. European Journal of Operational Research, v. 127, n. 1,
p. 1-13, 2000. THANASSOULIS, E. The use of data envelopment
analysis in the regulation of UK water utilities: water
distribution. European Journal of Operational Research, v. 126, n.
2, p. 436-453, 2000. THANASSOULIS, E. Comparative performance
measurement in regulation: the case of English and Welsh sewerage
services. Journal of the Operational Research Society, p. 292-302,
2002. THE THOMSON CORPORATION. EndNote X. 2. ed. The Thomson
Corporation, 2008. TUPPER, H. C.; RESENDE, M. Efficiency and
regulatory issues in the Brazilian water and sewage sector: an
empirical study. Utilities Policy, v. 12, n. 1, p. 29-40, 2004.
