AVALIAÇÃOAVALIAÇÃO

Suely F. Deslandes

IFF-FIOCRUZ

O que é Avaliação ?O que é Avaliação ?

Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas sobre o mérito e a relevância de determinado assunto, proposta ou programa.

Dimensões da avaliação Dimensões da avaliação (Penna (Penna Firme, 2003)Firme, 2003)

– Utilidade– Viabilidade– Ética– Precisão da técnica

Historicidade das Abordagens de Historicidade das Abordagens de avaliação avaliação (Guba & Licoln, 1989)(Guba & Licoln, 1989)

1900-1930 Primeira Geração– Mensuração (inicia-se com o desempenho de escolares,

produtividade) 1930-1950 Segunda Geração

– Nasce a “avaliação de programas”– Descrever como o programa atinge (ou não) seus resultados

1950-1980 Terceira Geração– Mensurar, descrever, mas a finalidade é julgar o mérito do

programa 1980 - .... Quarta Geração

– Negociar parâmetros de avaliação com os envolvidos (stakeholders) /Avaliações participativas

2000- (??) avaliações por triangulações de métodos

Definições e sua historicidadeDefinições e sua historicidade

“É a atividade que consiste em fazer julgamento sobre uma intervenção, comparando os recursos empregados e sua organização (estrutura), os serviços e os bens produzidos (processo) e os resultados obtidos, com critérios e normas” (Contandriopoulos et al, 1997, 37).

“A avaliação é uma forma de pesquisa social aplicada(*), sistemática, planejada e dirigida;

destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante

para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão,

(…)comprovando a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para a tomada de decisões” (Aguilar & Ander-Egg, 1994)

(*) Há diferenças entre pesquisa e avaliação

“Entendemos avaliação como a elaboração, a negociação, a aplicação de critérios explícitos de análise, em um exercício metodológico cuidadoso e preciso, com vistas a conhecer, medir, determinar e julgar o contexto, o mérito, o valor ou o estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizações”(Silva e Brandão, 2003) 

uma boa avaliação visa a reduzir incertezas, a melhorar a efetividade das ações e a propiciar a tomada de decisões relevantes, guia-se por quatro objetivos:

oferecer respostas aos beneficiários, à sociedade e ao governo sobre o emprego dos recursos públicos;

orientar os investidores sobre os frutos de sua aplicação;

responder aos interesses das instituições, de seus gestores e de seus técnicos;

buscar sempre uma melhor adequação de suas atividades.

Uma avaliação poderá levar em conta:

      a adequação entre os objetivos e estratégias propostas e recursos utilizados ;

      a adequação da estrutura organizacional para realizar o trabalho proposto;

      o quanto e como os objetivos e metas foram atingidos;

      a qualidade dos serviços prestados e dos resultados;

      a sustentabilidade da ação ou projeto.

  TIPOLOGIAS DE AVALIAÇÃOTIPOLOGIAS DE AVALIAÇÃO

Quanto à metodologia: Avaliação qualitativa (não de “qualidade”) Avaliação quantitativa – contribui para

estabelecer as relações causais entre as variáveis independentes (intervenção, exposição) e dependentes (resposta ou de desfecho).

Avaliações por triangulação de métodos

Metodologias QualitativasMetodologias Qualitativas

Objeto de estudo de pesquisa qualitativa = ação social e os significados atribuídos pelos seus agentes (instituições, grupos, indivíduos, movimentos sociais) .

Propósito comum em analisar o significado atribuído pelos sujeitos aos fatos, relações e práticas, isto é, interpretando tanto as interpretações quanto as práticas dos sujeitos.

Pressuposto:

– relação dinâmica entre mundo objetivo e (inter) subjetivo. Concepções, valores, crenças que são referências naquela cultura estarão presentes na tomada de decisões, nas ações concretas dos sujeitos.

Abordagens Abordagens qualitativas de qualitativas de

avaliaçãoavaliação

Condições e Interações

Sociais

VivênciasCulturais

Atribuição de Significados

BASE PARA AÇÃO

AvaliaçãoAvaliação qualitativa qualitativa

Estará sempre presente quando o avaliador desejar compreender quais os significados que os sujeitos atribuem a qualquer uma das dimensões do programa (definição da demanda, objetivos, estratégias, metas, resultados, sustentabilidade etc) ou como se dá, na prática e no cotidiano, a interface entre a realização das ações do programa e os discursos/concepções sobre estas ações

Usos correntes da avaliação Usos correntes da avaliação qualitativaqualitativa (Patton, 1987)(Patton, 1987)

Descrições detalhadas das demandas/expectativas/obstáculos para a implementação do programa

Análise de processos

Descrição dos diferentes tipos e participação e seus papéis

Análise de como o programa afeta seus participantes

Análise dos efeitos, impactos e mudanças observadas (ou sua ausência)

Análise das “fraquezas” e dos “facilitadores” do programa

Usos correntes da avaliação Usos correntes da avaliação qualitativaqualitativa

Expectativas dos sujeitos

Determinado serviço se coadunaria ou não aos valores culturais e expectativas dos vários atores sociais envolvidos, assim como às suas realidades sócio-econômicas ? (Atkinson, 1993).

Usos correntes da avaliação Usos correntes da avaliação qualitativaqualitativa

A dinâmicas das relações- Análise de processos A realização de qualquer programa ou

serviço é um processo que possui movimento, uma dinâmica própria. Envolve a ação de atores distintos que se aliam e se contrapõem.

A avaliação qualitativa, portanto, também busca compreender antagonismos e consensos que acontecem no cotidiano da execução dos programas/serviços e que podem ser elementos favoráveis ou obstáculos a sua realização.

Análise de como o programa afeta a identidade de seus participantes

Os programas envolvem de forma mais ou menos direta a vida e a auto-imagem de seus participantes. Não raro a participação como agente ou usuário de determinado programa pode significar uma considerável mudança de status daquela pessoa diante de seus familiares e comunidade (seja de forma positiva ou negativa).

Análise dos efeitos, impactos e mudanças observadas (ou sua ausência)

A avaliação de programas sociais envolve sempre a perspectiva de mudança de uma situação, comportamentos ou problemas. Incluir no rol da análise as interpretações dos sujeitos sobre as mudanças percebidas, confrontando com aquelas inicialmente esperadas pelo programa é item indispensável à avaliação qualitativa.

Análise das “fraquezas” e dos “facilitadores” do programa

Toda boa avaliação desencadeia um processo interno de discussão, de debate sobre os obstáculos encontrados;

. O quanto cada fator, cada ator e conjuntura (política, administrativa etc) colaboraram para o projeto atingir (ou não) seus propósitos? Há, nesse processo, um ganho de reflexão crítica.

Análise das “fraquezas” e dos “facilitadores” do programa

Sujeitos - balanço crítico- sugestões para melhor realizar as ações. Estas interpretações devem sofrer as críticas dos avaliadores e o confronto do que se tem como consenso do que seja uma boa prática.

Aprender com as lições, com os acertos e erros, com a criatividade dos envolvidos - patrimônio precioso para todos os que atuam nos programas.

Avaliação como campo Avaliação como campo polissêmicopolissêmico

(apud Novaes, 2000; Patton, 2004)(apud Novaes, 2000; Patton, 2004)

Classificações podem variar quanto:

– Objetivos da avaliação

– Posição do avaliador

– Período

DiagnósticoLevantamento de demandas

MonitoramentoTomada de decisões

•Interno/Externo•Negociador/ “Técnico”

•Compactua critérios/determina critérios

ImplantaçãoImplementação

Resultados

Quanto ao momento da realização avaliação em relação à existência da ação avaliada

Ex-ante Ex-post

(a)   análise diagnóstica situacional inicial; (b) uma avaliação da implantação e da

implementação (c) apreciação dos resultados, valorizando

também o processo e as tendências, entendendo que os efeitos das intervenções sociais não findam quando ela cessa.

A avaliação da implantação observa todos os passos necessários à efetivação da intervenção. Visa (1) verificar a extensão do alcance do programa para a população alvo; (2) monitorar a “dose do programa”, ou seja, a freqüência da sua aplicação e a participação dos sujeitos envolvidos nas atividades previstas; (3) avaliar a variabilidade do contexto organizacional ou situacional na qual o programa se implementa; (4) correlacionar a extensão na qual os programas são implementados e as metas propostas e (5) mensurar o seu custo de implementação (McGraw et al, 1989 apud Minayo, 2006).

O estudo sobre a implementação de um programa, realizado in loco, visa (1) à análise da extensão com que ele alcança a população-alvo; (2) a freqüência e a intensidade de aplicação da proposta e a participação dos sujeitos envolvidos; (3) as questões organizacionais e administrativas; (4) a viabilidade e variabilidade das metas propostas e (5) a formação da equipe de intervenção nos diferentes níveis.

A avaliação de resultados visa a dimensionar, qualitativa e quantitativamente, as diferenças entre o momento inicial e as metas/objetivos atingidos ao final de uma intervenção

TRIANGULAÇÃO de TRIANGULAÇÃO de MÉTODOSMÉTODOS

EM AVALIAÇÃOEM AVALIAÇÃO

Triangulação de abordagensTriangulação de abordagensCampos disciplinares

Racionalidades científicas

Metodologias

Técnicas

Pesquisadores

Triangulação é um termo que significa: a combinação e o cruzamento de múltiplos

pontos de vista; a tarefa conjunta de pesquisadores com

formação diferenciada; a visão de vários informanteso emprego de uma variedade de técnicas de

coleta de dados que acompanha o trabalho de investigação

CondiçõesCondições

Primeiro é a existência de uma equipe formada por profissionais de várias áreas que desejem trabalhar de forma solidária

A segunda condição é a competência disciplinar de cada componente do grupo.

Quanti-QualiQuanti-Quali

a ‘compreensão/explicação em profundidade’

a ‘explicação em extensão’

princípios para a análiseprincípios para a análise Causalidade complexa, que se opõe à visão de

linearidade entre causa-efeito. Destacam-se: as relações em uma visão hologramática no

sentido de que o todo contém as partes, a parte contém o todo, mas parte e todo têm características e propriedades específicas;

a inseparabilidade da ordem e da desordem em qualquer projeto, proposta ou organização;

a irredutibilidade do acaso, da incerteza e do inacabado em todos os fenômenos sociais.

Etapas da avaliaçãoEtapas da avaliação(1) Formulação do objeto e do planejamento

da avaliação(2) Elaboração de indicadores(3) Escolha das fontes de informação(4) Construção dos instrumentos (5)Trabalho de campo(6)Análise(7) Elaboração do informe – relatório(8)Devolução e debate dos dados

INDICADORESINDICADORES Os indicadores, como o próprio nome designa, “são

somente uma indicação sobre determinada situação, ou reflexo dessa situação”, e são usados para medir alterações, efeitos e resultados de uma situação social ou projeto específico (OMS, 1980).

Os indicadores ideais são aqueles considerados válidos, objetivos, sensíveis e específicos. Contudo, na prática, poucos indicadores preenchem todos esses quesitos. Não podemos esquecer que “são medidas indiretas ou parciais de uma situação complexa” e não explicam inteiramente a realidade (OMS, 1980).

Funcionam como guias, pistas fundamentais para avaliar alterações, direções, efeitos e resultados dos projetos.

Transformar os objetivos em itens capazes de mensurar/expressar as mudanças devidas a uma intervenção social .

Indicadores quantitativos

Indicadores qualitativos

IndicadoresIndicadores

Indicador quantitativoIndicador quantitativo Exemplo:COBERTURA Indicador1 : Proporção de indivíduos da população-alvo

captada pelo projeto  PIPACP = NIPACP/ TIPA Onde: PIPACP = proporção de indivíduos da população alvo,

captada pelo projeto NIPACP = número de indivíduos da população alvo captados

pelo projeto TIPA = total de indivíduos da população alvo  Definição: número de indivíduos da população alvo captados

pelo projeto, expresso como percentual do total de indivíduos da população alvo do projeto.

 Obs: considera-se indivíduo captado pelo projeto aquele que participou de 3 atividades educativas

 Propósito: este indicador visa saber a proporção de indivíduos da população alvo captada pelo projeto

Indicador qualitativoIndicador qualitativo

Exemplos:Ganho de capacidade de argumentação para

o reconhecimento de direitosAtitudes em relação a determinada questãoArticulação comunicacional Ampliação e conectividade da rede de

suporte social

Por que investir em Por que investir em avaliação?avaliação?

ganho de legitimidade pública e institucional.

ganho de competência técnica e gerencial. ganho de reflexão crítica . possibilita o compartilhamento de saberes

e experiências. maior competitividade na busca de

recursos cada vez mais limitados de financiamento

Se quem planeja governa melhor, quem avalia

aumenta sua governabilidade

fim

desland@iff.fiocruz.br