1 Aprendizado para Resultados – Trilhas de Aprendizado

CURSO

MODELAGEM DE INDICADORES

CADERNO DE PRÁTICAS

2www.escoladegestao.pr.gov.br

Sumário

O Curso de Modelagem de Indicadores 3

Objetivo do Curso 3

Ementa 3

Público-alvo 3

Projeto pedagógico 4

Currículo do docente 4

Referências bibliográficas 5

Manual de Procedimentos 7

Definição dos objetos de mensuração 7

Identificação dos atores-chave 8

Identificação a priori de indicadores 9

Priorização de indicadores 10

Detalhamento de indicadores e definição de metas 11

3 Aprendizado para Resultados – Trilhas de Aprendizado

O Curso de Modelagem de Indicadores

Este caderno apresenta o detalhamento do curso de Modelagem de Indicadores, que faz parte da trilha Planejamento e Gestão Governamental, e contém objetivo, ementa, projeto pedagógico, manual de procedimentos e demais elementos necessários para a devida compreensão do seu alcance e da sua relevância para a implantação de uma cultura de gestão para resultados no Estado do Paraná.

OBJETIVO DO CURSOExplorar aspectos conceituais e metodológicos da formulação e da implementação de indicadores de desempenho, visando institucionalizar o processo de mensuração e a comunicação de resultados nas organizações públicas.

EMENTA• Mensuração do desempenho: modelos, conceitos e

determinantes• Abordagem do Public Governante Canvas® e dos “6Es do• Desempenho®” para modelar indicadores• Definição e construção de indicadores e metas• Ponderação e validação dos indicadores com as partes

interessadas• Análise e interpretação de dados e informações de indicadores

e construção de relatórios, painéis de controle e salas de situação

• Verificação da consistência do modelo de medição de desempenho e questões críticas na modelagem de indicadores no setor público

PÚBLICO-ALVOGestores e coordenadores de órgãos centrais e unidades setoriais de planejamento e gestão e servidores em posições de assessoramento estratégico às funções de planejamento e gestão governamental e setorial, bem como técnicos e especialistas responsáveis pela avaliação de políticas públicas, indicados pelos titulares de seus órgãos.

4www.escoladegestao.pr.gov.br

PROJETO PEDAGÓGICO O curso será ministrado a partir da exposição conceitual e prática, sendo esta última realizada mediante a apresentação de casos reais aplicados à administração pública. Estima-se que um terço do tempo seja destinado à discussão conceitual e dois terços do tempo destinados a discussões de situações reais (experiências dos participantes com o tema em discussão e experiências trazidas pelo instrutor), apresentação de vídeos e realização de exercícios práticos de fixação dos conceitos abordados. É prevista a realização de um exercício ou a apresentação de um vídeo a cada 2 horas de curso, com vistas a estimular a participação dos alunos e a melhor assimilação dos conteúdos.

Os alunos serão avaliados a partir de notas em grupo em 2 exercícios durante o curso. A nota final de cada aluno será uma média entre as notas de cada exercício. Serão aprovados os alunos que obtiveram menção acima de 70 pontos (entre 100 possíveis) e no mínimo 80% de presença nas aulas.

Serão utilizados vídeos curtos de até 5 minutos e trechos de filmes que abordem os temas tratados com vistas a permitir reflexões, questionamentos e assimilação dos conteúdos e casos apresentados.

Exercícios que serão utilizados no curso: Elaboração do Public Governance Canvas, Identificação de Atores principais, Análise de objetos de mensuração críticos, Identificação a priori Indicadores, Priorização dos Indicadores e seu Detalhamento (fórmula de cálculo, unidade de medida, periodicidade, metas etc.).

CURRÍCULO DO DOCENTEO curso de Modelagem de Indicadores será ministrado pelo docente João Paulo Mota, cujo currículo segue a abaixo:

JOÃO PAULO MOTA

Mestre em engenharia pela UnB, MBA em Administração Estratégica pela FGV e graduado em Administração pela UnB. Possui formação executiva pela Harvard University e pela Georgetown University. Atua como professor convidado da FDC, IDP e UnB. Autor, no Brasil e no exterior, de artigos e capítulos de livros relacionados à gestão para resultados. É certificado CBPP em gestão de processos pela ABPMP-BR.

5 Aprendizado para Resultados – Trilhas de Aprendizado

REFERÊNCIAS BIBLIOGRÁFICASKINGDON, J. Agendas. Alternatives and Public Policies. Harper, 1984.

MARTINS e MARINI. Um Guia de Governança para Resultados na Administração Pública. Brasília: Publix, 2010

MPOG. Guia Referencial para Medição de Desempenho e o Manual para Construção de Indicadores. SEGES. 2010

VAN DOOREN, Wouter; BOUCKAERT, Geert & HALLIGAN, John (2010). Performance management in the public sector. Routledge.

BEHN, R. D. (2003). Why Measure Performance? Different Purposes Require Different Measures. Public Administration Review, 63(5), 586-606.

MARTINS e MARINI. Governança em ação Vol. 1 ao 5. Brasília: Publix, 2010-2014

BOUCKAERT, Geert e HALACHMI, Arie. Organizational Performance and Measurement in the Public Sector. Quorum. 1996.

BOUCKAERT, Geert e HALLIGAN, John. Managing Performance: International Comparisons. Routledge. 2008.

BOYNE, George et al. Public Service Performance: Perspectives on Measurement and Management. Cambridge University Press. 2006.

FROST, Bob. Designing Metrics: Crafting Balanced Measures for Managing Performance. Measurement International, 2007.

HALACHMI, Arie e BOUCKAERT, Geert. Organizational Performance and Measurement in the Public Sector. Quorum. 1996.

HUBBARD, Douglas W. How to Measure Anything: Finding the Value of Intangibles in Business. Wiley, 2010.

KAPLAN, Robert; NORTON, David. Mapas Estratégicos: convertendo ativos intangíveis em resultados tangíveis. Campus Elsevier. 2004.

KLUBECK, Martin. Metrics: How to Improve Key Business Results. Apress, 2011.

KLUBECK, Martin. Planning and Designing Effective Metrics. Apress, 2014.

DEMO, P. Avaliação Qualitativa, 2a edição, S.Paulo, Cortez Editora, 1988.

6www.escoladegestao.pr.gov.br

Franco-Santos, M., Kennerley, M., Micheli, P., Martinez, V., Mason, S., Marr, B., Gray, D. and Neely, A. (2007), Towards a definition of a business performance measurement system, International Journal of Operations and Production Management, 27(8): 784-801.

REIS, L. C. Avaliação de projetos como instrumento de gestão. In: Apoio à gestão. Rio de Janeiro; site da Rits; 1999; Artigo.

MOYNIHAN, Donald P. The dynamics of performance management: constructing information and reform. 2008.

MPOG, SPI. Guia Metodológico para a Construção de Indicadores. 2010.

SCRIVEN M. Metodologia da avaliação. In: SANDERS, J. (org). Introdução à avaliação de programas sociais. São Paulo; Fonte; 2003. p. 08-33

NEELY, Andy. Business Performance Measurement: unifying theory and integrating practice. 2ed. Cambridge University Press, 2007.

NEELY, Andy; ADAMS, Chris. The performance prism. Performance Prism. Financial Times – Prentice Hall. 2002.

POLITANO, Antthony L.. Chief Performance Officer. 2003.

THIOLLENT M. Metodologia da pesquisa-ação. 8a ed. São Paulo: Cortez; 1998.

WORTHEN, BR et al. Avaliação de Programas Sociais. 1ª Ed. São Paulo: Instituto Fonte – Ed. Gente; 2004.

WHOLEY, J. Evaluation: promise and performance. Washington, DC, Urban Institute. 1979.

7 Aprendizado para Resultados – Trilhas de Aprendizado

Manual de Procedimentos

O Manual de Procedimentos consiste no passo a passo para a implementação das principais etapas afins ao conteúdo do curso de Modelagem de Indicadores.

DEFINIÇÃO DOS OBJETOS DE MENSURAÇÃOA primeira etapa para a criação de indicadores é a definição do que se deseja medir numa uma organização, sejam seus objetivos estratégicos, um processo, um projeto, uma política pública, uma área ou uma equipe da organização etc. Para haver clareza dos objetos relevantes a serem medidos sugere-se a criação de um modelo de intervenção para explicitar quais são os elementos mensuráveis e suas relações. A definição dos objetos de mensuração deve ocorrer a partir de dois momentos:

• Representação do modelo de intervenção• Delimitação do escopo da mensuração (abrangência e

fronteiras/limites)

Para tal, esse modelo delimitará os elementos lógicos da intervenção e como se relacionam. Esse modelo representará a abrangência necessária para entender a intervenção, bem como suas fronteiras (limites impostos ao modelo).

Com a compreensão e entendimento do modelo, é possível se proceder com a identificação dos objetos-alvo da mensuração.

O Public Governance Canvas é um modelo de representação abrangente e multidimensional que pode ser utilizado como ponto de partida porque permite abordar elementos de desempenho e valor público de modo mais abrangente. A Figura 1 apresenta os elementos lógicos do modelo e seus relacionamentos/interações.

8www.escoladegestao.pr.gov.br

Figura 1 – Public Governance Canvas

A partir da representação do modelo de intervenção, é possível delimitar o escopo de mensuração, o segundo momento na definição dos objetos de mensuração.

IDENTIFICAÇÃO DOS ATORES-CHAVEA partir da lista de atores (envolvidos e beneficiários do modelo de mensuração) identificados no Canvas, escolhe-se até cinco atores mais relevantes, ordenando-os por prioridade.

Figura 2 - Identificação dos atores-chave

9 Aprendizado para Resultados – Trilhas de Aprendizado

IDENTIFICAÇÃO A PRIORI DE INDICADORESNeste momento deve-se questionar, a partir da perspectiva dos principais atores, qual é o alvo da mensuração, ou seja, quais elementos devem ser considerados para efeito de identificação de objetos de mensuração. A figura a seguir explicita os diversos focos possíveis a serem dados a um modelo de representação abrangente (definir o que é essencial medir).

A Tabela 1 é um exemplo de orientação para definição dos objetos e atributos de mensuração em função de dimensões do desempenho e do valor.

Em todo caso, a questão essencial que deve orientar a definição dos objetos de mensuração é: o que é importante/essencial/crítico medir?

Tabela 1 - Objetos e atributos de mensuração

Uma vez estando claro os objetos a serem mensurados, será possível elaborar uma primeira lista de indicadores que se apresentem como possíveis métricas (indicadores). A Tabela 2, continuação da tabela anterior apresentada, pode, a título de exemplo, ser utilizada como direcionador.

10www.escoladegestao.pr.gov.br

Tabela 2 - Detalhamento objetos e atributos de mensuração

PRIORIZAÇÃO DE INDICADORESO passo seguinte é a priorização, de modo que a lista inicial se restrinja aos indicadores mais significativos. Uma boa prática nesta etapa é a seleção e validação dos indicadores com as partes interessadas. Durante essa etapa são utilizados critérios de base para a decisão de manter, modificar ou excluir indicadores inicialmente propostos.

É possível realizar essa priorização a partir da atribuição de notas (indica-se variar de 0 a 2) para os critérios de seleção do indicador. Essa análise do indicador é realizada a partir de um instrumento simples denominado Matriz de Priorização de Indicadores, na qual o indicador atendendo a um determinado critério é atribuído o número “1“, caso contrário é atribuído o número “0”. Essa técnica permite estabelecer uma classificação dos indicadores, utilizando ou não o recorte por dimensão e classificando-os segundo uma ordem de prioridade. Um exemplo da Matriz de Priorização de Indicadores está na Tabela 3.

11 Aprendizado para Resultados – Trilhas de Aprendizado

Tabela 3 - Matriz de Priorização de Indicadores

A lista final de indicadores que serão em seguida detalhados deve, sobretudo, fazer sentido para os envolvidos. A seleção de indicadores pode ser complementada com outros critérios a serem escolhidos pelos responsáveis pelo processo de modelagem de indicadores.

DETALHAMENTO DE INDICADORES E DEFINIÇÃO DE METAS

Para um bom detalhamento de indicadores é necessário apresentar os seguintes elementos de detalhamento: fórmula, unidade de medida, meta, sentido do indicador, fonte, responsável e periodicidade. A Tabela 4 apresenta uma sugestão de instrumentos de detalhamento de indicadores:

12www.escoladegestao.pr.gov.br

Tabela 4 - Detalhamento de indicadores

13 Aprendizado para Resultados – Trilhas de Aprendizado

www.escoladegestao.pr.gov.br