Aula ¨6 -Avaliação em Projetos de Intervenção (CEEPIS Curso de elaboração de projetos e intervenção social)

CURSO DE EXTENSÃO

ELABORAÇÃO DE PROJETOS E INTERVENÇÃO SOCIAL

PROFA. DRA CLEIDE MAGÁLI, 2017.1

1

MONITORAMNETO E AVALIAÇÃO DE PROJETOS DE INTERVENÇÃO SOCIAL

CURSO DE EXTENSÃO



DEFINIÇÕES DOS TERMOS “MONITORAMENTO” E “AVALIAÇÃO”

ADOTADOS POR ORGANIZAÇÕES NACIONAIS E INTERNACIONAIS

2

Monitoramento Avaliação

Atividade de gestão interna e

contínua.

Atividade interna ou externa

Acontece durante a

implementação do projeto

Pode acontecer antes, durante ou

depois da implementação de um

projeto.

Compara o que está sendo

realizado com o que foi

planejado.

Com base em dados levantados

pelo monitoramento e outras

fontes, julga o desempenho de um

projeto de acordo com critérios

pré-estabelecidos, tais como:

eficácia, eficiência, efetividade,

sustentabilidade, dentre outros.

CURSO DE EXTENSÃO



3

DEFINIÇÃO DE AVALIAÇÃO

“É uma estimativa das características e efeitos de uma política ou de um programa ou

projeto, concluído ou em fase de execução, da sua concepção, implementação e

resultados. Ela visa determinar a relevância e realização dos seus objetivos e sua

eficiência, eficácia, impactos e sustentabilidade do ponto de vista do desenvolvimento.

Uma avaliação deve suprir informações críveis e úteis e permitir a absorção dos resultados

pelo processo decisório e pelos beneficiários das políticas e programas.” (OCDE)

Exame sistemático e objetivo de um projeto ou programa, finalizado ou em curso, que

contemple o seu desempenho, implementação e resultados, com vistas à determinação de

sua eficiência, efetividade, impacto, sustentabilidade e a relevância de seus objetivos.”

(UNICEF). O propósito da Avaliação é guiar os tomadores de decisão, orientando-os quanto

à continuidade, necessidade de correções ou mesmo suspensão da ação.

O tema “avaliação de resultados da ação social ou do investimento social privado” tem-se

mostrado como um grande desafio para as organizações do terceiro setor.

CURSO DE EXTENSÃO



4

AVALIAÇÃO em uma AGENDA DEMOCRATICA CONTEMPORANEA

Avaliação participativa (DEMO, 1988 e 2002),

Avaliação democrática (SOBRINHO, 2003),

Avaliação colaborativa (BARREIRA, 2002)

Participação em avaliação (SILVA e BRANDÃO, 2011)

CURSO DE EXTENSÃO



5

CARACTERISTICAS DAS AVALIAÇÕES

Interna (Internal Evaluation) – conduzida por membros das organizaçõesassociadas ao programa, projeto ou objeto que está sendo avaliado.

Formativa (Formative Evaluation) – utilizada durante a implementação deum programa ou projeto, para fornecer informações que permitam o seuaprimoramento. Avaliações Formativas são usadas para dar um retorno àsequipes técnicas sobre os componentes do programa/projeto que estãofuncionando e aqueles que precisam ser modificados.

De Programas ou Projetos (Program Evaluation) – utilizada para determinarse os objetivos, formato e resultados do programa ou projeto estãoadequados, assim como seu grau de eficiência, eficácia e efetividade naaplicação dos recursos.

CURSO DE EXTENSÃO



6

TIPOS DE AVALIAÇÃO

Avaliação de Processo - visa determinar o grau em que o projeto está operando conforme

planejado. Visa acompanhar e avaliar a execução dos procedimentos de implantação e

diferencia-se em avaliação de eficácia e eficiência.

Essa modalidade de acompanhamento e avaliação investiga sistematicamente o desenvolvimento

do projeto visando medir a cobertura, estabelecer o grau em que está alcançando a população

beneficiária e, principalmente, acompanhar seus processos internos.

Cobertura: analisa o alcance do projeto e as características dos beneficiários.

Processo: analisa a consistência do projeto a qualidade de sua implementação

Exemplos de Perguntas Avaliativas de Processo

Quanto à cobertura: Quais são as principais características dos participantes? Estamos atendendo quem deveríamos

atender? Em qual proporção estamos conseguindo atender aqueles que nos procuram?

Quanto ao processo de implementação do projeto: As atividades estão acontecendo conforme planejado? Quais são

os pontos fortes e fracos das estratégias e atividades do projeto? Como os diferentes atores percebem o projeto?

O objetivo da Avaliação de Processo é constatar possíveis defeitos na elaboração dos procedimentos,

identificar barreiras e obstáculos à sua implementação e gerar informações para sua reprogramação,

permitindo introduzir mudanças durante a própria execução.

CURSO DE EXTENSÃO



7

TIPOS DE AVALIAÇÃO (cont.)

Avaliação de Impacto ou Avaliação de Resultados - analisa em que grau o projeto vem produzindo

os benefícios e transformações a que se propõe. É aquela que focaliza os efeitos ou impactos

produzidos sobre a sociedade e, portanto, para além dos beneficiários diretos da intervenção

(população-alvo) avaliando-se sua efetividade social. Dois pressupostos orientam a avaliação do

impacto: o primeiro considera propósitos de mudança social e, neste caso, faz sentido estruturar a

investigação para mensurar seus impactos. O segundo pressuposto é o estabelecimento de uma

relação causa-efeito entre os impactos e ação realizada por meio do projeto.

Em suma, não basta constatar a ocorrência da mudança; é preciso provar que foi causada

pelo projeto.

As atividades de um projeto produzem 3 tipos de resultado: produtos (outputs), resultados

(outcomes) e impactos (impact).

Atividades: procedimentos do projeto que são mobilizados visando à obtenção dos efeitos desejados (como o

treinamento de pessoas etc.).

Produtos: efeitos imediatos de cada atividade do projeto (como o número de pessoas capacitadas, informações dadas,

materiais produzidos, etc.).

Resultados: impactos de curto prazo, resultado direto do projeto para seus beneficiários (normalmente referem-se a

mudanças de conhecimento, habilidades, comportamento e valores).

Impactos: benefícios e transformações de médio e longo prazo para os participantes e beneficiários indiretos do projeto

(suas famílias e comunidades).

CURSO DE EXTENSÃO



8

CRITÉRIOS DE AVALIAÇÃO

Eficiência – menor relação custo-benefício possível para o alcance dosobjetivos estabelecidos no projeto;

Eficácia – medida do grau em que o projeto atinge seus objetivos e metas;

Impacto (ou efetividade) – indica se o projeto tem efeitos positivos noaspecto externo em que houve intervenção, em termos técnicos,econômicos, socioculturais, institucionais e ambientais;

Sustentabilidade – mede a capacidade de continuidade dos efeitosbenéficos alcançados através da política pública, após o seu término.

CURSO DE EXTENSÃO


PROFA. DRA CLEIDE MAGÁLI , 2017.1

9

DEFINIÇÃO DE INDICADORES

Indicadores são medidas quantitativas e/ou qualitativas que funcionam como

um termômetro do progresso de um projeto, indicando os avanços obtidos

em relação aos objetivos e metas traçados. Como o próprio nome sugere, são

sinalizadores que buscam expressar algum aspecto da realidade, de forma

que possamos observá-lo ou mensurá-lo.

CURSO DE EXTENSÃO


PROFA. DRA CLEIDE MAGÁLI 2017.1

10

CARACTERISTICAS DE UM BOM INDICADOR

Ser válido – que meça o que se supõe dever ser medido;

Ser confiável – que seja verificável;

Ser relevante – que tenha relevância em relação aos objetivos do projeto;

Ser sensitivo – que seja sensível às mudanças da situação que é observada;

Ser aceitável – que seja aceito pela população em estudo e pelos principais

clientes da avaliação;

Ser específico – que seja especificamente adaptado aos objetivos do

projeto;

Ser oportuno – que possa ser constituído e reportado em tempo hábil;

Ser tecnicamente viável – que os dados requeridos possam ser coletados e

mensuráveis;

Ser custo-efetivo – que os dados requeridos possam ser coletados a um custo

razoável.

CURSO DE EXTENSÃO


PROFA. DRA CLEIDE MAGÁLI 2017.1

11

INDICADORES

Indicadores de resultados que podem ser imediatos ou de médio e longo prazo(impactos). Os indicadores de resultado mensuram os efeitosdo projeto junto à população-alvo como umtodo e junto aos usuários do projeto. Exemplos: paraprojetos de nutrição – taxas de desnutrição por faixaetária; de mortalidade e morbidade; para projetos deeducação – taxas de analfabetismo; de repetência; deevasão.

Indicadores de insumo - apontam os meios ou os recursos disponíveis para o alcancedos objetivos propostos. Recursos escassos e inadequados(financeiros, de mão-de-obra, de material) tendem acomprometer os resultados esperados. Exemplos: para osprojetos de nutrição - disponibilidade de alimentospor pessoa; para projetos de educação – relaçõesaluno/professor; aluno/escola; disponibilidade de materialdidático por aluno.

Indicadores de acesso – indicam os determinantes que permitem tornar efetiva autilização dos recursos disponíveis nos projetos para oalcance das metas previstas. Exemplos: para projetos desaúde: número de consultas médicas por adulto; distânciageográfica em relação ao serviço de saúde mais próximo; paraprojetos de educação – distância da escola; adequaçãocurricular

CURSO DE EXTENSÃO



12

DEFINIÇÃO E CRIAÇÃO DOS INSTRUMENTOS PARA COLETA DE DADOS PARA AVALIAÇÃO

A definição dos instrumentos para a coleta de dados a serem utilizados no estudo

avaliativo depende da escolha do tipo de abordagem que se quer adotar. Abordagens quantitativas

têm a vantagem de permitir mensuração, comparação e generalização das informações obtidas, no

entanto as abordagens qualitativas permitem uma análise mais aprofundada das experiências

estudadas.

Os métodos de coleta de dados quantitativos mais comumente utilizados são a pesquisa de

dados disponíveis em sistemas de acompanhamento e monitoramento do projeto, e a aplicação de

questionários ou formulários junto aos beneficiários e atores intermediários da sua execução. No

caso de abordagens qualitativas, os métodos de coleta de dados mais usados são entrevistas, grupos

focais e observação direta.

Cada instrumento criado deverá ser pré-testado para análise de sua consistência e clareza,

e avaliação da relevância e viabilidade dos dados por ele coletados. Uma simulação da tabulação e

análise dos dados coletados no pré-teste também ajuda no aprimoramento do instrumento antes da

sua aplicação generalizada.

O sucesso desta etapa é fundamental para a realização de uma avaliação que permita uma

utilização plena de seus resultados. Não basta escolher bons indicadores teóricos e de aplicações

gerais, torna-se imprescindível a relevância, bem como pertinência ao objeto avaliado e, sobretudo,

a operacionalidade, sem implicar em excessos de utilização de recursos (tempo, recursos financeiros

e recursos humanos).

CURSO DE EXTENSÃO



O PROCESSO DE COLETA DOS DADOS

Deve ser planejado a partir da definição dos instrumentos que serãoutilizados, das informações que serão pesquisadas e do prazo de que se dispõepara a obtenção dessas informações. A característica da população-alvo, acaracterística espacial e os indicadores de desempenho físico-financeiro sãodados relevantes para serem coletados.

As primeiras informações a serem levantadas dizem respeito ao processo deexecução do projeto e seus produtos. A partir dos dados sobre as realizações doprojeto, obtidos no sistema de monitoramento e de outras fontes deinformações, os avaliadores poderão coletar os indicadores de eficácia eeficiência definidos. Os indicadores de eficácia e eficiência são obtidos,frequentemente, a partir dos registros administrativos do próprio projeto. Já osindicadores de efetividade, exigem seu levantamento direto junto à populaçãobeneficiária ou a registros censitários.

Na coleta de dados com beneficiários do projeto de intervenção, pode-seoptar pela pesquisa com toda a população a ser estudada ou por amostragem.

13

CURSO DE EXTENSÃO



14

TABULAÇÃO E ANÁLISE DOS DADOS COLETADOS

Todos os dados devem ser tabulados, ou seja, organizados de maneira

a facilitar a sua interpretação e análise, tendo em vista as perguntas

avaliativas a serem respondidas. A tabulação e análise dos dados serão

decorrentes da sua natureza: quantitativos ou qualitativos.

Em uma avaliação, os textos e observações coletados vêm de várias

fontes como: respostas a perguntas abertas de questionários, transcrições

de grupos focais ou entrevistas, roteiros de observação de casos, ou, ainda,

resumos de relatórios e documentos pesquisados.

Tanto as fontes de informações, como as técnicas quantitativas e

qualitativas utilizadas para a coleta de dados, devem ser combinadas para uma

compreensão mais abrangente do programa. As informações sobre o previsto e

o realizado, os principais produtos entregues aos beneficiários, e a

espacialização destas realizações, são dados importantes para subsidiar a

avaliação de desempenho do programa

CURSO DE EXTENSÃO



15

ELABORAÇÃO E DISSEMINAÇÃO DO RELATÓRIO DE AVALIAÇÃO

Toda avaliação deve resultar em um relato claro e objetivo sobre o

processo e os resultados obtidos quanto ao desempenho do programa

analisado. Estas informações devem ser disseminadas entre os principais

clientes da avaliação de maneira a influenciar futuras decisões quanto ao

aprimoramento do programa ou ao estabelecimento de novas diretrizes de

ação

A comunicação dos resultados de uma avaliação pode ser feita de

forma oral ou escrita, mas deve sempre ser simples, direta e livre de

jargões. A ênfase deve estar nos importantes resultados obtidos e nas

recomendações, sempre com o foco nos principais clientes da avaliação,

suas expectativas e necessidades de informação.

CURSO DE EXTENSÃO



CONTINUA...

16

CURSO DE EXTENSÃO



17

.

REFERENCIAS

BAHIA. Secretaria de Planejamento Sistemática de monitoramento e avaliação em

programas e projetos governamentais. Salvador: SEPLAN/SGA, 2005. 66p. Il Disponivel em

http://www.imap.curitiba.pr.gov.br/wp-

content/uploads/2014/03/apostila_planejamento_monitoramento_e_avaliacao_de_projeto_

sociais_e_slides%20(1).pdf. Acesso maio de 2017.

BARREIRA, Maria C. R. Nobre. Avaliação Participativa de Programas Sociais. 2ª Ed. São

Paulo/Lisboa: Veras Editora – CPIHTS, 2002.

DEMO, P. Avaliação Qualitativa, 2 edição, São Paulo, Cortez Editora, 1988.

______. Mitologias da Avaliação, 2 edição, São Paulo, Ed. Autores Associados, 2002.

SOBRINHO, J. D. Avaliação. Políticas educacionais e reformas da educação superior. Cortez

Editora: São Paulo, 2003

SILVA, Rogério R.; BRANDÃO Daniel B. Nas Rodas da Avaliação Educadora. In: CAMPOS,

Rosana O.; FURTADO, Juarez P. (ORG). Novas tendências e questões emergentes: os desafios

da avaliação de programas e serviços em saúde. Campinas: UNICAMP, 2011.

http://www.imap.curitiba.pr.gov.br/wp-content/uploads/2014/03/apostila_planejamento_monitoramento_e_avaliacao_de_projeto_sociais_e_slides (1).pdf

Education

Aula ¨6 -Avaliação em Projetos de Intervenção (CEEPIS Curso de elaboração de projetos e intervenção social)