AVALIANDO O DESEMPENHO E O IMPACTO NAS ORGANIZAÇÕES DO TERCEIRO SETOR: Conceitos, instrumentos e desafios Coimbra, 24 de Outubro de 2014 1 Mónica Lopes

1

AVALIANDO O DESEMPENHO E O IMPACTO NAS ORGANIZAÇÕES DO TERCEIRO SETOR:

Conceitos, instrumentos e desafios

Coimbra, 24 de Outubro de 2014

Mónica [email protected]

2

Sumário

1. Fatores associados à crescente importância da avaliação nas OTS;

2. Especificidades das práticas de avaliação nas OTS;

3. Conceitos, metodologias e ferramentas de gestão e avaliação;

4. Principais questões suscitadas pelos processos de monitorização e avaliação nas organizações sociais

A crescente importância da avaliação nas OTS

Em grande parte devido à estratégia neoliberal de liberalização dos serviços públicos e de redução de intervenção no Estado ao mínimo, e à maior interferência das instâncias supranacionais, assiste-se à despolitização do Estado e à desestatização das políticas sociais (Santos, 2003).

O rescaldo da erosão do Estado traduziu-se numa forte expansão do chamado terceiro sector.

Este crescimento tem sido alimentado por uma crença entre as entidades financiadoras de que as OTS são mais eficientes e efetivas do que os governos na prestação de serviços sociais básicos, são mais competentes no apoio à população carenciada, e são atores-chave nos processos de democratização (Edwards e Hulme, 1996).

4

Relevância atual do Terceiro Setor

A estratégia neoliberal de liberalização dos serviços públicos e de redução de intervenção no Estado ao mínimo, e a maior interferência das instâncias supranacionais, conduz à despolitização do Estado e à desestatização das políticas sociais (Santos, 2003).

O rescaldo da erosão do Estado traduziu-se numa forte expansão do chamado terceiro sector.

Este crescimento tem sido alimentado por uma crença entre as entidades financiadoras de que as OTS são mais eficientes e efetivas do que os governos na prestação de serviços sociais básicos, são mais competentes no apoio à população carenciada, e são atores-chave nos processos de democratização (Edwards e Hulme, 1996).

Relevância atual do Terceiro Setor

Os modelos de intervenção social emergentes do Estado-Providência ativo (Hespanha, 2008) :• Remetem para a partilha de

responsabilidades e de ação com as organizações da sociedade civil.

• Baseiam-se em novos pressupostos e novas metodologias, como sejam a abordagem por projeto, a ação descentralizada e partilhada e a contratualização das respostas

Modelo de regulação partilhada entre o Estado e a sociedade, em

que os custos são suportados por fundos de proveniência

pública e privada e submetidos a uma estrutura mais autónoma de

responsabilidades


A avaliação surge como elemento

indispensável na contratualização entre Estado e terceiro sector

tendo em vista a implementação de programas sociais.

Controlo da aplicação de

recursos públicos: formas de controlo

para resolver os problemas de

desigualdade na proteção, de falta

de responsabilização e

de desvio relativamente aos

objetivos nacionais.

ACCOUNTABILITY


• Pressão crescente de entidades financiadoras/tutelares e outros stakeholders no sentido de OTS demonstrarem a sua efectividade e documentarem os resultados das intervenções, para fins de prestação de contas.

• As exigências de transparência e accountability são crescentes, e os financiadores querem saber o que é que foi realizado com os recursos concedidos.

EXTERNAS

• A avaliação é do interesse das OTS, uma vez que os ensinamentos retirados podem ser incorporados no processo de decisão, no sentido de melhorar o desempenho futuro, e também porque, mostrando que esses recursos são bem empregues, os apoios poderão ser intensificados e conseguir-se uma maior segurança no financiamento.

INTERNAS

As pressões para desenvolvimento de processos de avaliação nas organizações do terceiro sector (OTS) decorrem de forças externas e internas (Carman e Fredericks, 2008: 52; Hudson, 2003: 70; Lewis, 2001:135):


Importância dos valores (religiosos, políticos, humanitários, morais)

Complexificação da natureza dos objetivos, incentivos e estruturas de gestão (Edwards e Folwer, 2002)

Relação meio-fim e entre os objetivos operacionais e finais mais complexa

Perspetiva normativa da gestão = importância da adoção de valores na tomada de decisão quotidiana

Aspetos distintivos das OTS

Múltiplos stakeholders (dirigentes, trabalhadores, voluntários, associados,

utilizadores, clientes, organismos estatais, etc.)

Desenvolvem predominantemente atividades de expressão e de serviços

e, por isso, debatem-se com os problemas próprios da intangibilidade

da sua atividade (do seu output)

Dificuldade em medir o desempenho e demonstrar

impacto

Multiplicidade de objetivos que no essencial não se esgotam, nem se

consubstanciam, na obtenção do lucro como medida última e final


Atuação em ambientes complexos e incertos

Multiplicidade de bottom lines, sendo a

sustentabilidade económica tão importante

quanto a social, a ambiental e a cultural

Necessidade de abordagens que

reconheçam e respondam às necessidades de gerir

múltiplas relações, alternando combinações

de papéis e fontes de recursos.

CONCEÇÃO HOLÍSTICA DA ORGANIZAÇÃO

Necessidade de se estabelecer uma relação

mais rica com a envolvente externa e

interna (Anheier, 2005; Lewis, 2001)


• OTS que começam por constituir estruturas pequenas e informais, nas quais a

gestão pode ser feita numa base ad hoc, informal quando crescem rapidamente

não se apercebem imediatamente de que precisam de novas ideias, sistemas e

procedimentos em que se apoiar.

• Muitas organizações cresceram muito próximas das entidades financiadoras, foi-

lhes exigido que desenvolvessem sistemas de prestação de contas.

• Perceção entre o pessoal das organizações de que muito do impulso para

pensar sobre a gestão, monitorização e avaliação das OTS vem de fora e

por isso é suspeito.

• Agendas de gestão e avaliação tomam por vezes a forma de gestão

‘imposta', ao invés de emergirem da agenda própria destas organizações

(Lewis, 2001).


Receio do ‘profissionalismo normal’ (Chambers,1994)

“ao pensamento, valores, métodos e comportamentos dominantes numa profissão ou disciplina” e que, “tal como a ciência normal, é conservador”, baseando-se “numa estrutura de conhecimento e de geração de conhecimento centro-periferia, na educação e formação, na hierarquia das organizações e nos sistemas de recompensa e carreiras” (idem, ibidem: 3-4).

Esta conceção de profissionalismo colide com muitos dos valores proclamados pelas OTS, que procuram ‘alternativas’ ao ‘pensamento generalizado’ e demarcar-se das formas de gestão e administração dos setores lucrativo e público.


Em face destes desafios, muitas OTS manifestam alguma relutância em levar a sério os processos de gestão e avaliação, por razões diversas:

I. ‘Cultura de ação’, na qual a liderança e o pessoal das OTS resistem a ocupar um volume de tempo significativo a refletir sobre questões organizacionais, uma vez que essa priorização poderá interferir com a tarefa primordial de ‘ir trabalhar para o terreno’.

II. Visão partilhada por alguns segmentos sociais de que as OTS devem aplicar a quase totalidade dos seus fundos no trabalho de terreno e não devem gastar tempo e dinheiro em aspetos administrativos.


Estes elementos distintivos do terceiro setor originam desafios distintos:

Dificuldades em monitorizar o desempenho e da gestão de prestações de contas múltiplas

Necessidade de intrincar as estruturas de gestão no sentido de equilibrar múltiplos constituintes

Conflitos entre voluntarismo e profissionalismo

Necessidade de não perder de vista os valores fundadoras das organizações

Gerir a tendência para o estabelecimento de objetivos vagos.


Na sua obra, Lewis (2001: 198) conclui que há tantas armadilhas para as OTS que dependem dos elevados propósitos morais, boa vontade, trabalho árduo e senso comum, como para as que respondem acriticamente às pressões do ambiente para se profissionalizarem.

Trata-se de opções políticas que as OTS e os seus stakeholders têm que fazer. A forma como as OTS se relacionam com a questão da gestão depende do tipo de organização que querem ser, dos valores que pretendem expressar e da abordagem prosseguida para a persecução da mudança social e económica (idem, ibidem).

O desafio é adotar modelos de gestão que melhorem o desempenho organizacional sem perder de vista os valores constitutivos das OTS (Fowler e Malunga, 2010; Lewis, 2001; Fowler, 1997). Isto implica a clarificação da visão e objetivos das OTS, harmonizando uma série de fatores internos e externos.


Especificidades relativamente à avaliação nas OTS

• Pouca atenção que tem sido prestada pelas OTS em geral, até muito recentemente, à importância da avaliação enquanto instrumento de melhoria do desempenho e meio de prestação de contas.

• A avaliação é frequentemente vista pelas organizações como uma imposição dos financiadores, sendo por isso recebida com relutância,

• O facto de a avaliação ser muitas vezes concebida como uma obrigação contratual limita a visão da avaliação como forma de aprendizagem organizacional (Guambe, 2009).

• Enquanto stakeholders chave, as entidades financiadoras ou tutelares desempenham um papel fundamental na construção de processos de avaliação potenciadores da aprendizagem organizacional.

• As entidades doadoras nem sempre diligenciam a capacitação institucional das organizações que financiam, privilegiando os padrões de prestação de contas, sem capacitarem as OTS no sentido de desenvolverem uma cultura de aprendizagem ao serviço da sua missão (Hoole e Patterson, 2008).

Avaliação: do que falamos?

19

Conceitos - Avaliação

“Avaliar é sempre comparar com um modelo – medir – e implica uma finalidade operativa que visa corrigir ou melhorar. O padrão ou modelo a partir do qual se avalia é, em última instância, um valor de referência que, numa situação de planeamento, se encontra geralmente fixado, a partir do diagnóstico da situação inicial, nos objetivos e metas definidos.” (Guerra, 2002: 185)

“valiar é fixar o valor de uma coisa; para ser feito requer um procedimento mediante o qual se compara aquilo a ser avaliado com um critério ou padrão determinado.” (Cohen e Franco, 2006: 73)

função

objetivos

método de avaliação

20

Conceitos Avaliação ≠ Monitorização

• Processo contínuo de recolha sistemática de informação para indicadores específicos, com o objetivo de informar os gestores sobre o progresso das atividades, sobre o grau de concretização dos objetivos definidos e sobre a utilização de fundos. (Glossário SEAV, MF)

• Procedimento de gestão, que implica o exame exaustivo e regular da utilização dos recursos, das realizações e dos resultados de uma intervenção, baseado num sistema de informação coerente e adequado. Tem uma vocação de retroação sobre o conjunto dos procedimentos de gestão. (Glossário QREN)

21

Conceitos Avaliação ≠ Auditoria

• Verificação da legalidade e da regularidade da utilização dos recursos financeiros. O julgamento é efetuado em função dos critérios e normas gerais (não específicos a uma dada intervenção), que são conhecidos e clarificados a anteriori. (Glossário QREN)

• (de Desempenho) Controlo de uma determinada entidade, programa, serviço, sistema ou área funcional, que incide na sua gestão, nomeadamente na utilização dos respetivos recursos que lhe foram confiados, segundo princípios, entre outros, de economia, eficiência e eficácia. Embora conceptualmente próxima da avaliação, está mais fortemente preocupada com questões da boa gestão, enquanto a avaliação vai mais longe e se preocupa sobretudo com os resultados obtidos e os impactos gerados. (Glossário IGF)

22

Conceitos Avaliação ≠ Mediação dos desempenhos• Sistema que permite apreciar os

desempenhos das intervenções relativamente aos objetivos estabelecidos. (Glossário OCDE)

• Ele não questiona os próprios objetivos e, portanto, não chega a qualquer juízo final sobre se a intervenção foi boa ou má; apenas se foi bem sucedida ou não, dentro dos estreitos limites dos padrões pré-definidos.

Desempenho: Conceito ambíguo que, geralmente, se confunde com eficiência. Noutros casos, porém, combina eficiência com eficácia, pela associação de uma dimensão qualitativa (ou de uma relação com objetivos pré-definidos) a uma relação entre recursos mobilizados e realizações ou efeitos obtidos (Glossário QREN)

Avaliação dá sentido à medição de desempenho e medição de desempenho produz evidência para avaliação.

23

Conceitos Avaliação ≠ Gestão da qualidade

• Método para assegurar que todas as atividades necessárias à conceção, desenvolvimento e implementação de um produto ou serviço são eficientes e eficazes, respeitando o sistema da qualidade.

24

Análises e critérios de avaliação

Efeito: Mudança esperada ou não, direta

ou indiretamente atribuída a uma

intervenção.

Resultados (efeitos imediatos sobre os

destinatários diretos)

Impactos (efeitos mediatos/a longo prazo, positivos ou negativos,

primários ou secundários, induzidos por uma intervenção,

direta ou indiretamente, previsto ou não)

Eficácia: Relação entre os efeitos produzidos por uma intervenção e

os objetivos que se propunha atingir.

Eficiência: Compara as realizações, os resultados e/ou os impactos com os

recursos (em especial os financeiros)

utilizados para os atingir

25

Medidas de avaliação

Indicador: Fator ou variável, de natureza quantitativa ou qualitativa,

que constitui um meio simples e fiável de medir e informar sobre as

mudanças ligadas à intervenção, ou ajudar a apreciar o desempenho

(Glossário OCDE)

Qualitativo: Descrição na forma de uma

afirmação concisa, clara e estável de um objetivo a realizar ou

de um impacto obtido.

Quantitativo: Factos e valores que descrevem

objetos através de números

26

Processo de avaliação - Avaliar para quê?

Para provar

Comunicar resultados e impactos aos stakeholders

Prestar contas

Demonstrar efetividade

Demonstrar “Retorno do Investimento

Social”

Estabelece-se o valor

de trabalho de forma

que possa ser

partilhado, interna e

externam.

Para melhorar

Aprendizagem organizacional

Informar e melhorar as

práticas

Melhorar o planeamento,

desenho e gestão da

intervenção

Informar o planeam.

estratégico e a tomada de

decisão

Fortalece-se a

infraestrutura da

organização

27

Processo de avaliação - Avaliação o quê?

IndividualPrograma/ projeto, unidade/ função/

serviço

Organizacional • Capacidade e

funcionamento da organização

• Impacto global da organização

Sistema social

Níveis de avaliação:

28

Processo de avaliação - Instrumentos/ferramentas de gestão e avaliaçãoTeoria da mudança e modelos lógicos

“Um programa é uma teoria e uma avaliação é o seu teste. No sentido de organizar uma avaliação que constitua um teste responsável, a pessoa que avalia precisa entender as premissas teóricas em que se baseia o programa.” Carol Weiss (1998: 55)

29

Instrumentos/ferramentas de gestão e avaliação- Teoria da mudança

"A teoria da mudança é uma avaliação sistemática do que precisa acontecer para que um resultado desejado aconteça. As teorias da mudança devem ser desenhadas para explicar como e porquê a mudança acontece, bem como o papel potencial do trabalho de uma organização na contribuição para a mudança".

• É uma articulação das condições e intervenções necessárias para produzir um resultado ou conjunto de resultados desejados.

• Olha para a relação causa-efeito e identifica as intervenções específicas necessárias para atingir os resultados desejados.

30

• A lógica explicativa usada pela Teoria de Mudança:• Se realizarmos uma intervenção, então ocorrerá um

resultado particular• se a intervenção (X) for realizada numa determinada

dosagem, então o resultado esperado (Y) será atingido.

• Geralmente representam o trabalho de vários programas ou de uma organização e são usados em avaliações de conjuntos de iniciativas ou do impacto global da organização.


31

Instrumentos/ferramentas de avaliação- Teoria da mudança

• A Teoria de Mudança integra três principais componentes:• O problema: a necessidade comunitária identificada.• A intervenção: atividades (o que é feito, com quem, e em que

dosagem).• O resultado: a mudança que ocorre devido à intervenção.

Outras Componentes que as teorias de mudança podem incluir: - Fatores contextuais - Propósito e Princípios - Pressupostos e crenças - Valores - Pré-condições - Estratégias

32


•As evidências servem de fundamento para a elaboração de uma Teoria de Mudança:•Ao nível do problema - fornecem dados que documentam a existência da necessidade da comunidade, •Ao nível da intervenção - as evidências informam o nosso entendimento da razão porque uma determinada intervenção produzirá o resultado desejado.

Papel das evidências na formulação da

Teoria de Mudança

34

Instrumentos/ferramentas de avaliação- Modelos Lógicos (Outcomes Approach Models)

• Inclui a identificação dos elementos estratégicos (inputs, outputs, outcomes e impactos), as suas relações, os indicadores, bem como os fatores externos que podem influenciar o sucesso ou o fracasso da intervenção.

• A sua utilização facilita o planeamento, a execução e a avaliação de uma intervenção.

• O modelo assenta numa cadeia de relações de causa-efeito, que começa por uma avaliação dos recursos necessários para o funcionamento da intervenção ou organização e para a concretização dos seus objetivos e conclui-se com a avaliação do impacte.

35

Instrumentos/ferramentas de gestão e avaliação- A lógica do modelo lógico

Fonte: Adaptado de W.K. Kellogg Foundation, 2004

36

Instrumentos/ferramentas de avaliação- A lógica do modelo lógico

Recursos: recursos humanos, financeiros, materiais, informação, competências

Atividades: o que o programa ou a organização fazem com os seus recursos com vista a que esta consiga atingir os resultados pretendidos.

Outputs: são o produto direto dos programas ou das atividades – por ex., n.º de foras de formação oferecidas.

Resultados (Outcomes): são as mudanças específicas que ocorrem no público-alvo, ao nível das suas atitudes, comportamentos, competências, status ou das capacidades adquiridas, que resultem das atividades – por exemplo, encontrar um emprego.

Impacte (longo prazo): transformações, desejadas ou não desejadas, operadas nos diversos stakeholders– por ex., inserção social de jovem em risco.

37

Instrumentos/ferramentas de gestão e avaliação- SROI - Social Return on Investment

• É uma análise custo-benefício do valor social gerado pela intervenção de uma organização.

• O índice SROI é um rácio entre o valor atual líquido dos benefícios e o valor atual líquido do investimento.

O SROI compara o valor gerado por uma intervenção (benefícios) com a despesa necessária (investimento) para obtê-lo.

38


• É uma ferramenta de gestão - controlo das previsões, melhoria do desempenho, ajustamento da despesa

- de diferenciação (em candidaturas a financiamento).

• É uma ferramenta de avaliação e seleção, ajudando entidades financiadoras a investir em projetos com maior potencial de impacto.

39


1) Mapear a análise

Definição dos parâmetros da análise e envolvimento das partes interessadas para definir que resultados são relevantes.

2) Valorar as mudanças

Atribuição de valor financeiro às mudanças geradas pela intervenção, a partir de indicadores.

3) Calcular o impacto

Soma do valor monetário atribuído às mudanças geradas pela intervenção, descontando as mudanças que teriam acontecido de qualquer modo, a contribuição de terceiros e consequências inesperadas.

4) Calcular o SROI

Divisão do valor atual líquido do impacto ou benefícios da intervenção pelo valor atual líquido do investimento necessário

40


Recursos:

• SROI Network: www.thesroinetwork.org • Mapa de impacto:

www.thesroinetwork.org/publications/doc_details/436-sroi-training-spreadsheet

• WikiVOIS: www.wikivois.org • http://www.youtube.com/watch?v=0h9tV5sf7d4

41


Críticas (Harlock, 2013, Arvidson et al., 2010; Ryan and Lyne, 2008)

1) Complexidade na aplicação.

2) Exigente em recursos (financeiros, de tempo e competências).

3) Enfoque no valor monetário das intervenções.

- Negligencia outras dimensões de criação de valor que não o valor monetário.

- Continuam a ser levantadas questões sobre se as medidas financeiras por si só são adequadas para captar e medir o impacto social do terceiro setor.

4) Dificuldade em captar e avaliar a experiência qualitativa e o conhecimento tácito que é mais difícil de expressar em medida.

5) Enfoque em impactos externos - negligencia a importância dos valores organizacionais e culturais.

42

Outras ferramentas de gestão e avaliação

43

Instrumentos/ferramentas de gestão e avaliação- Balanced Scorecard

É uma ferramenta de gestão estratégica pois parte da visão e da estratégia da organização e as traduz, através de quatro

perspetivas, em objetivos, metas e indicadores, que funcionam de forma integrada, conjugando indicadores financeiros e não-

financeiros, de curto e de longo prazo (Kaplan e Norton, 1996).

Os Indicadores estruturam- se em torno de 4 perspetivas:• inovação e liderança• processos internos• clientes e • gestão financeira.

Os indicadores de cada uma das perspetivas estabelecem entre si relações de causa-efeito, as quais são baseadas em hipóteses que permanentemente têm de ser revistas.

44


45

46

Objectivo: é uma descrição concisa sobre o que a

organização tem que fazer bem, tendo em vista executar

a estratégia.

Meta: é um resultado de desempenho desejado.

Indicador: é um standard utilizado para medir e comunicar o desempenho. Os indicadores atribuem significado às metas

estabelecidas e têm normalmente natureza

quantitativa.

Iniciativas são as ações,atividades, programas ou projetos que as

organizações têm que desenvolver para atingirem as metas estabelecidas


47


O BSC e as três famílias de indicadores de desempenho

(Fonte: Meneses, 2008)

48

Instrumentos/ferramentas de gestão e avaliação- Balanced Scorecard para OTS

• Para Kaplan e Norton (2002), há duas diferenças fundamentais entre o balanced scorecard para empresas e o aplicado às organizações do terceiro sector:

• A missão desloca-se para o topo do balanced scorecard: numa organização com fins lucrativos, todas as medidas do scorecard devem conduzir a uma melhoria na no desempenho financeiro. Nas organizações do terceiro sector, a aspiração última é a da concretização de uma missão criadora de valor social;

• A perspetiva do cliente passa a ser a mais importante: para a concretização da missão, a perspetiva mais importante é a do cliente. É servindo os clientes que a organização concretiza a missão. É ainda necessário expandir o conceito de cliente, dado que quem financia os serviços geralmente difere de quem deles usufrui.

49

Instrumentos/ferramentas de gestão e avaliação- Balanced Scorecard para OTS (Niven, 2003)

50

Instrumentos/ferramentas de gestão e avaliação- Balanced Scorecard para OTS

Limitações e desafios (Stockmann, 201; Meneses, 2008; Anheier, 2005)

• Ausência de metodologias robustas para avaliação de impacte.

• Desvalorizadas as perspetivas de outras parte interessadas que não os clientes e colaboradores.

• Dificuldade de quantificar ou racionalizar atividades e organizações que atuam para o longo prazo e em contextos e dimensões de difícil tangibilidade.

• Os n.º são importantes para medir o desempenho e para a concretização de objetivos, mas não são um fim em si mesmo, nem devem ser retirados do contexto.

• Como a maioria deste tipo de organizações é multifacetada, perseguindo várias bottom lines, são necessárias múltiplas medidas de desempenho.

• Como os parâmetros tradicionais de eficiência e eficácia, geralmente aplicados às empresas, não se aplicam ao tipo de contextos e de organizações do terceiro sector, o maior desafio na implementação de um balanced scorecard, numa organização do terceiro sector, consiste na sua adequação à realidade da organização.

51

Instrumentos/ferramentas de gestão e avaliação- Modelos da qualidade

Declaram a qualidade como importante determinante do sucesso de uma

organização.

São caracterizados pela orientação

para o cliente, pois a qualidade é

medida, principalmente, pela

valorização da utilidade por parte

dos clientes.

Todos os processos e as estruturas são voltadas para a satisfação das necessidades dos clientes.

52

Instrumentos/ferramentas de gestão e avaliação- Modelos de qualidade

Aplicação dos Manuais Qualidade das Respostas

Sociais ISS

Cerificação ISO9001

Modelo da Qualidade Europeu para os Serviços

Sociais - EQUASS

53

Referenciais da

qualidade

54

Instrumentos/ferramentas de gestão e avaliaçãoISO 9001

• As normas da família ISO9000 foram desenvolvidas para apoiar as organizações, de qualquer tipo e dimensão, na implementação e gestão de sistemas da qualidade eficazes.

• A ISO 9001 está baseada em oito princípios de gestão da qualidade:

• Focalização nos Clientes

• Liderança

• Envolvimento das Pessoas

• Abordagem por Processos

• Abordagem à Gestão através de um Sistema

• Melhoria Contínua

• Abordagem à Tomada de Decisões Baseada em Factos

• Relações com Fornecedores com Benefícios Mútuos

55

Instrumentos/ferramentas complementares Modelo de Avaliação da Qualidade das Respostas Sociais (ISS)

• É um referencial normativo que se baseia nos princípios de gestão da qualidade e onde são estabelecidos os requisitos necessários à implementação do Sistema de Gestão da Qualidade dos serviços prestados pelas Respostas Sociais.

• Permite avaliar a qualidade dos serviços prestados pela Resposta Social e avaliar o sistema de gestão da qualidade – atribuição por níveis A, B ou C.

• Este modelo tem por referência a norma NP EN ISO 9001:2000 – Sistemas de Gestão da Qualidade – Requisitos e o Modelo de Excelência da European Foundation for Quality Management (EFQM).

56

Instrumentos/ferramentas de gestão e avaliaçãoEQUASS (Modelo da Qualidade Europeu para os Serviços Sociais)

• Constitui uma iniciativa da EPR - European Platform for Rehabilitation

• É estruturada nos princípios da qualidade da Common Quality Framework for Social Services of General Interest e na metodologia da Auto-Avaliação

• Utiliza um questionário na auditoria interna realizada pelas próprias organizações, e na auditoria externa de certificação.

• Tem como principal objetivo estimular o desenvolvimento do sector dos serviços sociais, promovendo o compromisso dos prestadores de serviços com a qualidade e a melhoria contínua, constituindo-se como um instrumento de garantia da qualidade reconhecido pelos clientes/utilizadores a nível europeu

57

Instrumentos/ferramentas de gestão e avaliaçãoModelos de qualidade

Algumas apreciações (Lucas et al., 2012; NEF, 2009)

• Enquanto padrões de gestão da qualidade, não foram desenhados para avaliar impactos mais amplos da organização sobre a sociedade ou o meio ambiente.

• O sistema EQUASS é um sistema complexo, em especial em termos de documentação, contudo mais adaptado à realidade destas instituições, que necessitam de apoio externo e financiamento para sua implementação.

• O sistema ISS é considerado ainda mais complexo e de difícil compreensão, contudo apresenta-se como uma possível perspetiva para diferenciação no financiamento.

• O sistema ISO 9001:2008, apresenta-se como genérico possível de adaptar a qualquer ramo de atividade e valências.

59

Desafios da Avaliação no Terceiro SetorColaboradores/as das organizações a quem é dado pouco tempo ou apoio para se dedicarem à reflexão e dialogo que convide ao questionamento sobre os pressupostos, crenças e valores dos programas, políticas e práticas das organizações.

Líderes com pouca experiência em fundamentar as decisões em dados, que não sabem como articular conclusões sistemáticas com outras formas de informação nos processos de decisão.

Pessoal sobrecarregado que continua a ver a avaliação como prescindível, acessória ou para a qual têm pouco tempo.

Dificuldade em alocar avaliadores/as com interesse em, ou a capacidade de, implementar a avaliação como meio para aprendizagem e mudança organizacionais.

Pouco suporte para funções de replaneamento e/ou para influenciar a cultura organizacional no sentido de sustentar a aprendizagem organizacional.

Membros de organizações que percecionam a avaliação como ameaça.

Trabalhadores/as dos níveis intermédios que pretendem iniciar trabalhos de avaliação e encontram dificuldade em conseguir suporte dos níveis hierárquicos superiores.

Visão da avaliação como imposição dos financiadores, sendo por isso recebida com relutância ou mesmo resistência (financiamento sedento de prestação de contas e exigente em termos de reporte).

60

Desafios da Avaliação no Terceiro Setor

A aprendizagem organizacional envolve:• Estabelecimento de equilíbrio entre os papéis de accountability e

aprendizagem da avaliação;• Integração da função da avaliação na organização;• Desenvolvimento de modelos de trabalho que relacionem

resultados sobre programas e iniciativas específicos com metas globais das organizações;

• Sustentação de um espírito de diagnóstico contínuo que reclame uma aprendizagem incremental e iterativa/reiterada ao longo do tempo;

• Disponibilização de tempo para a reflexão, análise dos pressupostos tácitos, e diálogo quem avalia, pessoal dos projetos e líderes organizacionais;

• Reconsideração dos papéis tradicionais de quem avalia e das competências de que necessitam.

• (Preskill e Torres, 2001; Ebrahim, 2005)


Um desafio central para as OTS é encontrar um equilíbrio entre os mecanismos que

respondem aos desígnios de responsabilização

ascendente das entidades financiadoras e aos que

respondem às necessidades dos membros e comunidade

(i.e., responsabilização interna e descendente), enquanto desencadeiam

também mudanças positivas no comportamento

organizacional.

Para muitas organizações, encontrar este equilíbrio exigirá uma reorientação

para processos de aprendizagem e

responsabilização perante a missão no sentido de colocar a avaliação de sentido ascendente em

perspetiva adequada, assim como a conjugação de

processos de avaliação de curto e longo prazo.

Aprendizagem organizacional

Prestação de contas

Estado/ entidades

financiadoras


OBRIGADA!

[email protected]

64

Instrumentos/ferramentas complementares

Documents

AVALIANDO O DESEMPENHO E O IMPACTO NAS ORGANIZAÇÕES DO TERCEIRO SETOR: Conceitos, instrumentos e desafios Coimbra, 24 de Outubro de 2014 1 Mónica Lopes