Desafios em processos de avaliação: reflexões a partir do estudo de caso de uma

política pública municipal brasileira

Documento para presentación en el VIII Congreso Internacional en Gobierno, Administración y Políticas Públicas GIGAPP. (Madrid, España) del 25 al 28 de

septiembre de 2017.

Autor(es): Resende, Cláudio Lobenwein

Sandim, Tatiana Lemos

Email: claudiolr@gmail.com

tatianasandim@gmail.com

Twitter: @tatianasandim

Resumen/abstract: O artigo descreve e analisa um caso de avaliação da estratégia monitoramento e avaliação utilizada pela política de assistência social em um município brasileiro. A avaliação foi feita por uma consultoria externa com o uso de metodologias mistas. O acirramento das relações durante o processo revelou falhas cometidas e evidenciou que elementos da cultura política ainda prevalecem em um cenário em que os processos avaliativos não foram incorporados como ferramenta de mudança. O emprego de estratégias construcionistas e participativas foi utilizado, possibilitando a ampliação do diálogo e a escuta dos trabalhadores/as e tornando o processo coerente com as necessidades da organização. Por meio desse estudo de caso, apontamos as vantagens agregadas ao processo com o uso de metodologias mais flexíveis e argumentamos em favor do uso de métodos mistos.

Palavras-chave: avaliação de políticas públicas, avaliação externa, metodologia tradicional, metodologia construcionista, vigilância socioassistencial.

Nota biográfica: Tatiana Lemos Sandim é doutoranda em Administração Pública e Governo pela Fundação Getulio Vargas de São Paulo e pesquisadora do Centro de Estudos em Administração Pública e Governo e do CLEAR, ambos da FGV.

Cláudio Lobenwein Resende, bacharel em Ciências Sociais pela Universidade Federal de Minas Gerais (2009), tem longa experiência em monitoramento e avaliação de políticas públicas. Já foi gestor público e atualmente atua como consultor de monitoramento e avaliação no setor privado.

1. Introdução

A institucionalização da avaliação de políticas públicas no Brasil é ainda um processo

longo e que representa um desafio a ser vencido. Questões relativas à cultura política e

ao próprio desenho institucional das organizações públicas tornam os avanços lentos e

incertos. Um grande esforço de modernização do Estado foi empreendido nos últimos

anos que, porém, ainda se mostra insuficiente.

Este trabalho traz o relato de um caso de consultoria de avaliação de uma política de

Assistência Social municipal do Brasil. Os desdobramentos desse processo avaliativo

são analisados à luz das teorias de avaliação de políticas públicas com o intuito de

contribuir para a compreensão do papel e da forma de atuação de consultorias em

contratos com entes governamentais de forma a permitir que outros trabalhos, em

contextos semelhantes, tenham elementos para superar as dificuldades e entregar

produtos e serviços que sirvam à melhoria de processos e resultados em políticas

públicas.

A Assistência Social foi reconhecida como um direito no Brasil com a Constituição

Federal de 1988 (CF-88). Essa é a Constituição vigente no país e foi elaborada por um

processo constituinte na transição democrática, após o período de ditadura militar

(1964-1985). É considerada uma constituição cidadã, pela significativa ampliação de

direitos que instituiu. A Assistência Social foi incluída no tripé da Seguridade Social,

juntamente com a saúde e a previdência social. Desde a CF-88 teve lugar um período

efervescente pautado pela busca da regulamentação e implantação dessa política

pública.

Em 1993, com a promulgação da Lei Orgânica da Assistência Social (LOAS), a

assistência social deu seu primeiro grande passo em direção à sua constituição como

política pública. Mas é com o governo Lula (2003) que o processo ganha fôlego e

velocidade. Foi criado o Ministério do Desenvolvimento Social e Combate à Fome

(MDS), e publicada a Política Nacional de Assistência Social (PNAS, 2004). A PNAS

reorganiza a ação da Assistência Social no país, estabelece objetivos, princípios e

funções do Sistema Único da Assistência Social (SUAS). Em 2005, a Norma

Operacional Básica (NOB-SUAS) organiza em todo o território nacional

responsabilidades, vínculos, hierarquias, serviços e benefícios da assistência social

(Couto et al., 2010). Em 2012, uma nova NOB incorpora os avanços e ajustes

identificados nos últimos anos e avança, entre outros pontos, na definição de

instrumentos de vigilância socioassistencial. Nesse momento, a Vigilância é alçada ao

patamar de ferramenta de gestão da política.

A Vigilância Socioassistencial tem como objetivo analisar territorialmente a capacidade

protetiva das famílias e nelas a ocorrência de vulnerabilidades, de ameaças, de

vitimizações e de danos. É um dos instrumentos de proteção que identifica e previne as

situações de risco e vulnerabilidade sociais e seus agravos no território. Essa concepção

está ancorada em um conjunto de conceitos e categorias que buscam instituir uma

abordagem específica para a produção de conhecimentos aplicados ao planejamento e

execução da política de assistência social. Para viabilizar o trabalho de vigilância, cabe

ao governo municipal o registro de dados referentes aos serviços. De acordo com o

MDS, devem ser registrados, principalmente: a quantidade e perfil de recursos

humanos; o tipo e o volume dos serviços prestados; os procedimentos essenciais

vinculados aos conteúdos do serviço e necessários à sua qualidade; o perfil dos usuários

atendidos; as condições de acesso ao serviço; a infraestrutura, os equipamentos e

materiais existentes.

A equipe responsável pela Vigilância Socioassistencial é responsável pelas atividades

relacionadas à gestão da informação, monitoramento e avaliação, além da “tradução”,

sistematização e disseminação dessas informações.

A inclusão da vigilância socioassistencial como uma das funções do SUAS formalizou a

necessidade de monitoramento e avaliação, já percebida como uma lacuna. Na prática,

para muitas equipes municipais, estabeleceu-se o contexto adequado para a criação e

desenvolvimento de estratégias de levantamento e consolidação de informações acerca

da demanda da população e dos serviços a ela ofertados. Para outras, que já

desenvolviam atividades dessa natureza, significou o momento de rever e modernizar

processos e profissionalizá-los. A criação da Vigilância Socioassistencial representou

um avanço, embora o Censo SUAS 2014 afirme que 30,6% dos municípios ainda não

possui uma área responsável pela Vigilância Socioassistencial e que, entre os que já

possuem, 28,8% produziram indicadores ou análises relativas à oferta de serviços e

benefícios, 31,4% produziram indicadores ou análises relativas à demanda por serviços

e benefícios, 31,3% monitoraram os padrões de qualidade dos serviços prestados pela

rede pública e/ou conveniada e 32,8% dos municípios desenvolveram instrumentos de

coleta de dados para levantamento de informações junto aos serviços (BRASIL, 2015).

Monitorar e avaliar não são – ou não devem ser – tarefas complicadas e, muito menos,

complexas. Contudo, exigem algum conhecimento sobre a política, sobre os resultados

que dela se esperam e sobre os espaços, processos e momentos que, com um olhar

detido, dão informações preciosas sobre o quanto desse resultado foi alcançado. E a

lacuna de conhecimento aliada a outras lacunas históricas, culturais, comportamentais e

técnicas, torna a incorporação da avaliação às políticas públicas um desafio ainda não

superado. E seria injusto afirmar que esse desafio se restringe à Assistência Social.

Pertence à todas as áreas de intervenção estatal. É em torno desse contexto, de

desenvolvimento da gestão de políticas públicas no Brasil, que se insere a discussão

aqui proposta.

2. Avaliação de políticas públicas e avanços informacionais

Avaliar é o ato atribuir um valor a alguma coisa. E isso é uma atividade que as pessoas

cotidianamente executam em relação aos elementos que as cercam (Garcia, 2015;

Spink, 2001). Transportar essa ação para o ambiente organizacional não transmuta seu

sentido original: avaliar um projeto ou um programa implica em determinar seu valor,

sua importância em relação a um anseio ou, melhor dizendo, em relação a um objetivo

(Garcia, 2015).

Partindo desse conceito seminal é possível encontrar uma série de definições para a

avaliação, mais ou menos restritivas, inclusivas e conscientes da relevância do processo.

Nesse trabalho, consideramos que avaliação é um tipo de pesquisa orientado para a

coleta, análise, interpretação e comunicação relacionadas aos objetos avaliados (Pires,

R. R.; Lopez, F.; Sá E Silva, F., 2010), é um processo analítico que objetiva produzir

informação e conhecimento sobre o objeto avaliado com a finalidade de ser útil no

desenho, implementação e validação de programas e projetos sociais (Jannuzzi, 2016;

Faria, 2005). A avaliação, para além de conhecer o mundo, busca melhorá-lo, tornando

conhecidas conclusões que podem levar a ações e aperfeiçoamentos (Firme, 1994 citado

por Garcia, 2015).

No meio governamental, a forma mais adequada de se conceber a avaliação seria como

parte indissociável do processo de aprendizagem (Garcia, 2015), como uma importante

ferramenta para a orientação, esclarecimento, convencimento e alinhamento dos atores

envolvidos (Jannuzzi, 2016, Newcomer, Hatry e Wholey, 2015) e útil para auxiliar a

tomada de decisão dos gestores e governantes. Mais recentemente, a avaliação tem sido

utilizada como recurso para atendimento de demandas externas à intervenção, como

estratégia de prestação de contas para a sociedade ou para outros entes governamentais

ou, ainda, para organismos nacionais e internacionais, por vezes, financiadores de

intervenções estatais (Faria 2005). Nesse sentido, a avaliação pode servir como fonte de

legitimidade do objeto avaliado ou, em sentido oposto, pode ser fonte de

constrangimentos para governantes e gestores (Trevisan, van Bellen, 2008).

Paradoxalmente, muitas vezes, é o próprio processo de avaliação que carece de

legitimidade. Isso porque há uma série de questões e desafios persistentes que têm se

mostrado refratários às iniciativas de trabalhar a avaliação como uma ferramenta útil.

Em parte, porque as demandas com frequência não são formuladas de maneira clara,

com o objetivo de extrair dos resultados insumos relevantes para orientar e reorientar as

mudanças e a aprendizagem sobre o processo. Por vezes, são frutos de situações

inesperadas que exigem respostas acerca da intervenção, desencadeando uma espécie de

‘espasmo avaliativo’ (Garcia, 2015). E, mesmo em hipóteses mais otimistas, é comum

que seja construída uma percepção estreita do escopo da avaliação, limitando-a a

quantificar insumo ou ampliar o controle sobre os recursos investidos, por exemplo.

Poucos trabalhos se dedicam a avaliar produtos ou resultados. Isso dificulta o processo

de aprendizagem e melhoria que pode ser obtido por meio de avaliações (Wu et al,

2014).

Além disso, observa-se que os relatórios de avaliações são inconclusivos e não trazem

recomendações de mudanças ou de melhorias (Garcia, 2015). Esse fato contribui para

que a avaliação seja vista como algo inócuo que exige muito trabalho para ser

desenvolvida e encerra-se como um fim em si mesma.

Há ainda questões relacionadas com os responsáveis pela avaliação, que podem ser da

equipe interna ou de uma consultoria externa ou universidade. A equipe interna,

usualmente, não possui conhecimento ou experiência e na tentativa de produzir um

documento capaz de informar sobre o desempenho ou os resultados da intervenção, toda

a rotina é alterada e um esforço enorme é empregado. Nem sempre o produto desse

esforço é bastante útil para a finalidade que se propõe e, não raro, atende unicamente a

uma demanda imediata. Seu conteúdo costuma não ser divulgado publicamente e,

mesmo internamente, tem alcance limitado (Garcia, 2015).

Em relação às contratações externas, por outro lado, é relevante destacar que algumas

questões são (ou devem ser) alvos de negociação e, portanto, são potencialmente

geradoras de conflito. Como exemplo estão: 1) o estabelecimento de uma relação clara

que possibilite o desenvolvimento do trabalho; 2) os diferentes timings dos atores e 3)

as distintas naturezas dos conhecimentos de que cada ator dispõe.

A recepção dos resultados de uma avaliação é uma ação que varia de acordo com a

percepção que se tem de quem realiza a avaliação e também de quem é o receptor

interno. Há, ainda, o agravante que a interpretação dos resultados, com a identificação

de sucessos ou fracassos, é permeada por subjetividades. E lidar com o fracasso não é

simples. Assim, se os resultados forem negativos ou abaixo das expectativas, têm

grande potencial para gerar resistência ou negação por parte da equipe (Wu et al, 2014).

Em resumo, as avaliações costumam ser encaradas como um estorvo ou como uma

obrigação contratual apenas (Garcia, 2015).

Não se pode perder de vista que avaliar deriva de valia e implica em determinar o valor

de algo. Para que esse valor seja determinado é preciso dispor de um quadro de

referência razoavelmente preciso, que explicite as normas (valores, situações desejadas,

necessidades satisfeitas) e forneça as informações necessárias para a seleção de métodos

e técnicas que permitam verificar se o valor está presente e para medir o quanto do valor

foi alcançado, quanto do previsto já se realizou (Garcia, 2015). É preciso ter clareza de

que os resultados da avaliação sempre serão parciais porque a obtenção de dados é

sempre limitada.

Mas tal quadro de referência quase nunca existe a priori. O caminho mais comum é

empreender um trabalho de negociação e diálogos para obtê-lo. Elaborar esse quadro

com informações consistentes, amplas e variadas exige um processo participativo e

cooperativo. Com esse processo, espera-se que surja um entendimento compartilhado

dos pontos comuns aceitos por todos: avaliadores e avaliados. Uma avaliação é sempre

analisada pela credibilidade do processo para os policy makers, pela força das

evidências produzidas e pelo uso da informação para melhorar a intervenção

(Newcomer, Hatry e Wholey, 2015).

Uma vez elaborado o quadro, a tônica de um processo participativo e democrático deve

ser mantida. É preciso gerar resultados úteis para as pessoas envolvidas, inclusive os

que estão na condição de beneficiários e beneficiárias. Com isso, ganha relevo as

questões: quem deve atribuir valor? E, como atribuir valor? “O maior número possível

dos diferentes agrupamentos, atores e outros implicados, direta ou indiretamente,

conhecidos e não conhecidos e em formas que permitem a responsabilização, a

transparência, a comunicabilidade e a co-determinação” (Spink, 2001: 13). É intrínseco

ao processo de avaliação o seu caráter participativo. A grande questão é quem está

participando. Defende-se que a participação tem que ser ampliada, para que os

resultados sejam construídos conjuntamente e não a partir do olhar e do julgamento

daqueles que “vêm de fora” e emitem juízos sobre algo que não faz parte de seu

cotidiano (Spink, 2001).

Metodologias de avaliação participativas (ou responsivas) são baseadas em uma

abordagem interpretativa que enfoca os elementos trazidos pelos grupos de interesse

envolvidos na intervenção. O desenvolvimento adequado de uma metodologia

participativa inclui a identificação dos grupos de interesse, o diálogo intenso com esses

grupos, a negociação clara com contratantes sobre a necessidade de acesso a

documentos e espaços onde informações estão presentes (Wu et al., 2014, Guba,

Lincoln, 2011) e, ainda, a explicitação de que os resultados devem ser úteis e utilizados.

Informações necessárias para processos avaliativos encontram-se dispersas: em lugares

distintos, em formatos variados, sob a posse de diferentes pessoas.

A escuta dos atores se dá em função, em um primeiro momento, de conhecer a

intervenção, identificar suas preocupações, questões ou reivindicações, que

conformarão o conjunto de materiais a serem analisados e tornará a equipe de

avaliadores capazes de cumprir sua tarefa. Cientes de que os valores a serem atribuídos

devem contemplar múltiplas vozes, e deve, necessariamente, incluir os valores dos

atores e atrizes envolvidos diretamente. Assim, cabe à equipe de avaliação desenhar um

processo que se inicia com o planejamento das atividades, recursos e tempos

necessários e só encontra seu fim quando os pontos de inovação e melhoria

identificados com os resultados da avaliação tenham sido respondidos adequadamente,

de acordo com as possibilidades existentes no momento. A coleta de dados da avaliação

deve incluir dados qualitativos ou quantitativos, de acordo com a disponibilidade e a

possibilidade de obtê-los (Guba e Lincoln, 2011).

Alinha-se a essa metodologia uma postura de valorização do contexto, dos diferentes

saberes das pessoas e das práticas desenvolvidas nas relações do cotidiano. Com isso, as

pessoas assumem centralidade, os avaliadores se tornam mais sensíveis ao processo,

cintes de que os processos avaliativos são produzidos e modificados na relação (Souza,

McNamee, Santos, 2010).

3. Avaliação por consultorias externas:

A contratação de consultorias externas para realizar avaliações é uma prática comum

nas organizações públicas brasileiras, em especial a partir da década de 1990, quando

novos paradigmas de gestão passaram a ser incorporados na administração pública com

o objetivo de imprimir à máquina pública maior capacidade de intervenção na sociedade

e na economia, ao mesmo tempo em que se buscava um equilíbrio fiscal, urgente após

as crises econômicas das décadas anteriores (Bresser Pereira, 2005).

A reforma da administração pública trouxe a questão da eficiência e da eficácia para o

centro do debate sobre o estado no Brasil. A capacidade de programas e políticas

públicas de produzir resultados desejados com o uso sustentável de recursos humanos e

orçamentários entrou cada vez mais na agenda de debates políticos e acadêmicos. O

desafio passou a ser o de encontrar formas organizacionais que permitissem ao estado

atender às demandas sociais – e também do(s) mercado(s) – aliando bons resultados

com gastos sustentáveis.

Fazer melhor, gastando menos. Embora seja uma ideia simples e de fácil aceitação, as

dificuldades de implementá-la são grandes e complexas. De imediato, a dúvida que

surge é o que significa fazer melhor? Ou seja, quais são os resultados desejados e quais

são as melhores formas de alcançá-los? Quais são os métodos, caminhos e instrumentos

que permitiriam a uma política alcançar seus objetivos? Sabemos, de fato, quais são os

objetivos da política?

Essas questões, quando respondidas, remetem a uma outra: como saber e como medir se

uma política pública funciona bem e atinge seus objetivos? Ou seja, o complexo

processo de execução de políticas públicas passa necessariamente por saber o que se

quer, saber como se deve fazer o que se quer e quais as melhores formas de fazê-lo e,

por fim, saber como medir os resultados alcançados. Com a adoção dos novos

paradigmas de gestão, agentes públicos passaram a ter de se preocupar com os

resultados das ações executadas. Prestar contas à sociedade tornou-se um valor.

Essa nova forma de pensar o funcionamento do estado se coaduna com as características

da Constituição Federal de 1988, que foi elaborada em um processo de debates amplos

com a sociedade. Os canais de participação direta se tornaram mais comuns, como os

conselhos de políticas, cujas funções precípuas são a de atuar como porta-vozes dos

anseios da sociedade e de vigiar e cobrar a atuação dos agentes públicos conforme os

preceitos das legislações pertinentes. O estado passou, a partir de 1988, a ser responsivo

perante a sociedade, o que engendrou novas formas de prestação de contas.

Para responder ao desafio da responsividade, o estado passou a recorrer à contratação de

consultoria externas especializadas, em parte para atender à necessidade de execução de

tarefas específicas sem que, para isso, se recorresse à oneração da máquina pública a

partir da contratação direta de novos servidores públicos. Além disso, era preciso

imprimir a algumas dessas tarefas, principalmente as avaliações, um caráter idôneo e

desenviesado que agentes públicos, por questões diversas, teriam dificuldades de

realizar. Pressões políticas e interesses particulares são os principais elementos que

enviesariam trabalhos de avaliação de resultados, mas também deve-se considerar o

lugar do agente público, que, membro da organização, seria constrangido a avaliar seus

pares. A contratação de agentes externos, portanto, resolveria essas questões.

A atuação em parceria de organizações públicas e privadas é positiva para as políticas

públicas, além de se constituir em vantagem para ambos os atores envolvidos. As

diferentes competências de cada um dos atores envolvidos agem de maneira a se

complementarem, enriquecendo as experiências, conhecimentos e visões.

O estado é uma importante fonte de recursos financeiros. Seu financiamento por meio

de tributos o torna um agente central em uma economia. É ali que muitos outros agentes

– privados – podem buscar suas fontes de renda. O estado é, também, agente central de

produção de políticas de intervenção na economia e na sociedade, seja por primazia

legal, seja por primazia financeira (fonte de recursos). Ou seja, é por meio de parcerias

(contratações) que agentes privados buscam os recursos de que necessitam.

Além disso, organizações públicas possuem diversas limitações que tornam vantajosa a

sua relação com organizações privadas. A primeira delas, proeminente no caso

brasileiro, diz respeito às dificuldades, impostas pela legislação, para execução de

alguns tipos de tarefas. Licitações, concursos públicos, entre outros instrumentos de

controle administrativo, por vezes tornam a tentativa de executar ações simples e

rápidas em processos longos, complexos e dispendiosos. Por isso, a estratégia de

contratação de especialistas para executar apenas tarefas pontuais é um trajeto mais

curto e rápido do que o concurso público. Os especialistas podem ser contratados já com

o conhecimento e pelo tempo necessário para a execução da tarefa. As vantagens

agregadas por essa alternativa a tornam a opção mais adequada.

Organizações privadas possuem potencialidades e limitações que as diferem de

organizações públicas. A primeira limitação, e talvez a mais importante, diz respeito aos

recursos financeiros. Empresas, fundações, ONGs, possuem recursos finitos e

dependem dos aportes e investimentos de outros agentes, públicos ou privados, para que

se mantenham em atividade. O estado é, em muitos casos, uma boa fonte para esses

aportes.

Agentes privados, além disso, dispõem de uma relativa liberdade de atuação que os

permitem optar por se especializaram em quaisquer ramos de serviços que desejarem.

Portanto, novas demandas por serviços podem ser satisfeitas com mais agilidade por

esses agentes do que pelo estado.

As formas de relação entre governos e consultorias, contudo, não estão dadas, o que nos

motiva a estudar o tema e propor caminhos para melhorias de desempenho e soluções de

impasses.

Organizações públicas e privadas são dotadas de interesses e preferências, tanto aqueles

que são próprios da instituição, como aqueles das pessoas que as compõem. Esses

interesses e preferências podem, em alguns casos, se opor e gerar impasses na relação.

Agentes públicos, por exemplo, podem ter o interesse de não serem avaliados, ou

mesmo que a avaliação feita a respeito de seu trabalho não se torne pública.

Consultorias externas, por outro lado, têm interesse em realizar avaliações com

qualidade que a qualifiquem no mercado de consultorias e, assim, consigam mais

contratos.

4. Relato do caso

a. O contexto

O caso aqui descrito se insere nesse contexto: a contratação, por um órgão público

municipal de assistência social1, de uma consultoria especializada em avaliação de

políticas públicas. O objetivo da contratação, segundo o edital de licitação, era o de

aprimorar os instrumentos de monitoramento e avaliação da política. A principal

motivação envolvida na contratação do trabalho foi desencadeada por uma

1 O nome do município não será mencionado por questões éticas e, sobretudo, por não agregar informações relevantes para as descrições e análises aqui empreendidas.

recomendação da auditoria de uma organização internacional que financia projetos

desenvolvidos pela secretaria. Trata-se de um município de grande porte que executa a

política municipal de assistência social em um arranjo misto de execução direta e

indireta por meio de convênios com instituições socioassistenciais, a exemplo da maior

parte dos municípios do mesmo porte no país (MDS, 2015).

A contratante já havia desenvolvido e utilizava instrumentais de coleta de dados dos

serviços para monitoramento e avaliação da política. Um fluxo envolvendo profissionais

de diferentes setores da política estava em funcionamento e previa a consolidação dos

dados e sistematização mensal de indicadores para os serviços implantados, bem como

para conjuntos de serviços e regiões da cidade. Havia, então, um conjunto de

instrumentos, fluxos, processos e indicadores que, por si, representavam um importante

sistema de monitoramento e avaliação, o que se constitui num esforço que deve ser

ressaltado, haja visto que essa prática é algo ainda raro na realidade da administração

pública no Brasil, a despeito dos avanços observados nos últimos anos.

Essa equipe, muito antes de que a própria política de assistência social determinasse a

vigilância como uma de suas funções, já possuía e utilizava ferramentas e rotinas de

monitoramento e avaliação, que envolviam toda rede de serviços. Esse processo,

mensalmente executado, constitui um exemplo de que monitorar e avaliar uma política

depende mais do envolvimento das pessoas e da criação da cultura de registro das

informações do que da disponibilidade de tecnologias avançadas, como sistemas de

gestão integrada, por exemplo.

Com a avaliação contratada, esperava-se que a consultoria elaborasse propostas de 1)

aprimoramento dos instrumentais existentes quanto à forma e conteúdo, 2) um novo

conjunto de indicadores para o monitoramento e avaliação da política e 3) modernização

das rotinas de consolidação das informações desde a unidade coletora do dado primário

até a consolidação municipal. A expectativa era de um trabalho procedimental assentado

em uma premissa: a de que o sistema de monitoramento e avaliação implementado já

possuía as qualidades desejadas, funcionava satisfatoriamente e necessitava de ajustes.

Essa premissa era inclusive expressa por alguns gestores. Desde o início do processo, a

equipe afirmava já haver realizado o mapeamento dos pontos de melhoria e, assim,

sabiam o que e como fazer. Mas ainda não havia executado porque as rotinas internas

inviabilizavam a disponibilização de técnicos para a alteração dos processos.

A equipe de monitoramento e avaliação era formada por cinco técnicos que se

organizavam de forma a distribuir entre eles as regiões da cidade e tipologias de

serviços para fins de acompanhamento, orientação e sistematização dos dados. Havia

ainda uma equipe regional, distribuída em toda a cidade que, por sua vez, se conectava

com todos os Centros de Referência da Assistência Social (CRAS) e Centros de

Referência Especializada em Assistência Social (CREAS)2 de suas respectivas regiões.

Estes equipamentos, por sua vez, se conectavam com os serviços conveniados existentes

nos territórios, de acordo com suas localizações e nível de complexidade, de forma que

todos os serviços estavam referenciados em um CRAS ou um CREAS.

Para a regulamentação formal dos processos de monitoramento e informação havia uma

série de portarias publicadas pelo Conselho Municipal de Assistência Social, nas quais

constavam a descrição dos serviços e os indicadores a serem utilizados para seu

monitoramento e avaliação.

O conjunto de indicadores de monitoramento era extenso, sendo a maioria dedicada a

informar sobre os processos. Os serviços eram monitorados com um número variável de

indicadores (entre 3 e 11) e não havia nenhum indicador calculado para todo o conjunto

da política, tendo sido essa uma das demandas repassadas à consultoria.

b. O processo

A primeira etapa do trabalho, que consumiu um terço do período de contratação

previsto, foi a realização de diagnóstico dos instrumentais, fluxos e processos internos, a

partir de duas estratégias. A primeira consistiu na análise sistemática dos instrumentais,

das legislações e das normas internas. A segunda estratégia dedicou-se a conhecer a 2 Esses equipamentos destinam-se ao atendimento da população nos territórios onde estão implantados. De acordo com a organização da política, os serviços são distribuídos em três níveis de complexidade. O CRAS executa, supervisiona e coordena a rede de serviços socioassistenciais de complexidade básica. O CREAS faz o mesmo com os serviços de média e alta complexidade. Por suas diferentes naturezas de serviços, é comum encontrar em um mesmo território vários CRAS e um CREAS.

execução da política e dialogar com as pessoas, lotadas em diferentes posições, a fim de

conhecer suas opiniões sobre o monitoramento. Nessa etapa foram realizadas visitas a

locais pré-selecionados pela gestão e entrevistas com gestoras/es e técnicas/os. Também

foi enviado um questionário online3 para pessoas dos vários níveis da hierarquia da

política. A escuta de diferentes atores envolvidos no processo, que incluía espaços para

críticas e sugestões, permitiu a contemplação de diversos olhares, muitos dos quais

foram considerados nas etapas seguintes do processo.

Esse trabalho sistemático de compreensão do funcionamento da política e, a partir dela,

da lógica de funcionamento do sistema de monitoramento e avaliação revelou que havia

outras questões a serem solucionadas. Foram identificadas falhas de natureza técnica,

procedimental, formal, de conteúdo e de gestão do sistema de monitoramento e

avaliação da política.

A análise do conjunto de indicadores identificou que havia erros técnicos no cálculo de

alguns deles. Algumas dessas falhas ocasionavam superestimação ou subestimação de

números, impactando diretamente na política. Em alguns casos, os erros de cálculo se

relacionavam com formas equivocadas de coleta do dado usado como fonte.

Os procedimentos de coleta dos dados primários, por meio dos instrumentais, eram

dispendiosos para os técnicos da ponta da política, pois os dados demandados no

preenchimento do instrumental eram provenientes de várias fontes diferentes. Para

preencher um único instrumental era necessário recorrer às listas de presença diária, aos

cadastros dos usuários e usuárias registrados nos serviços, aos relatórios de atividades,

de visitas domiciliares, de ocorrências, etc.

Não havia manuais ou catálogo de indicadores disponíveis para orientar o

preenchimento dos instrumentais. Também não havia treinamentos ou atualização dos

conhecimentos. Com isso, foi possível constatar que os profissionais envolvidos não

tinham clareza quanto à maneira correta de coletar os dados ou da fonte mais adequada.

Assim, na coleta de um mesmo dado, profissionais tinham entendimentos variados

3 Aplicado online por meio do serviço LimeSurvey, oferecia anonimato às pessoas respondentes, de forma que se sentissem livres para expor suas dificuldades cotidianas relativas ao monitoramento e avaliação da política.

sobre como e onde buscá-lo, ou mesmo sobre a leitura e compreensão da informação

gerada a partir dele.

Além disso, o software utilizado para o preenchimento era o Microsoft Excel e as

planilhas disponibilizadas praticamente não dispunham de verificações de erros de

preenchimento e permitiam a exclusão e a inclusão de linhas e colunas, prejudicando a

padronização do o processo. Essa situação era a principal causadora de erros no

processo de consolidação e verificação dos dados ao nível regional. Era necessário

muito tempo para conferir o preenchimento de cada instrumental e ainda era necessário

recorrer ao formulário do mês anterior para realizar conferências entre os resultados

quantitativos do mês anterior e os do mês corrente.

Os instrumentais coletavam alguns dados desnecessários e, ao mesmo tempo, deixavam

de coletar outros de suma importância para o monitoramento e avaliação. Diferentes

modelos de instrumentais solicitavam o mesmo tipo de dado com descrições distintas,

dificultando a consolidação da informação. Ainda, a criação ao longo dos anos de novas

tipologias de serviços fez com que o desenvolvimento pontual de instrumentais

demandasse dados demasiadamente personalizados, a ponto de não ser possível

consolidá-los para regiões ou para toda a cidade.

As questões relacionadas acima acabavam por gerar uma espécie de efeito dominó: as

instâncias regionais precisavam entrar em contato com todos os serviços que tinham

enviado formulários contendo erros de preenchimento, solicitar e aguardar o reenvio do

documento correto. Com isso, não conseguiam cumprir os prazos para realização das

atividades e, por consequência, a equipe central também não. O caráter constante dos

atrasos gerava um clima de insatisfação e cobrança que só contribuía para a criação de

animosidades e a perpetuação da morosidade nos processos. Esse conjunto de técnicas,

procedimentos e fluxos falhos resultava em uma gestão do monitoramento lenta e

dispendiosa.

Além disso, o monitoramento não subsidiava seus operadores na correção de rumos em

tempo hábil. Gestores e gestoras do nível central recebiam a consolidação dos

indicadores dos serviços de forma pouco sincrônica com a execução. O que dificultava

tanto a aferição dos resultados relacionados às alterações implementadas quanto a

detecção da necessidade de implantar novas alterações.

Ainda, as estatísticas e indicadores não retornavam para os profissionais da ponta, o que

fazia com que eles não acessassem os resultados de seu trabalho, apesar da

obrigatoriedade de preenchimento. Com isso, não viam sentido ou utilidade no

monitoramento.

O conjunto de indicadores também precisava ser revisto. A grande quantidade existente

dificultava o acompanhamento da política, tanto pelos próprios membros da política,

quanto pela sociedade e órgãos de controle. Vários deles eram semelhantes e possuíam

descrições diferentes, dificultando a comparabilidade. Ainda, alguns indicadores eram,

na verdade, estatísticas simples, cujo caráter era mais informativo do que indicativo e

que, em geral, pouco auxiliavam a gestão cotidiana da política. Por fim, havia poucos

indicadores transversais à política de assistência social, ou seja, que perpassassem todos

os seus âmbitos e que permitissem aos gestores, à sociedade e aos órgãos de controle

uma visão global acerca da execução.

A solução destes problemas permitiria à política realizar avanços importantes na coleta

de dados e, por consequência, no monitoramento e avaliação, na retroalimentação e na

prestação de contas à sociedade. A consultoria apontou essas questões e propôs soluções

que se baseavam nos conhecimentos e experiências da consultoria e dos consultores

envolvidos, alguns dos quais com longo histórico em gestões públicas, e também todo o

levantamento de informações dos operadores, efetuado na fase diagnóstica.

c. As propostas apresentadas

Foram elaborados novos instrumentais de monitoramento, um caderno de indicadores e

novos fluxos de coleta e sistematização dos dados. Tal como previsto no edital, durante

a elaboração de cada produto, equipes contratante e contratada se reuniram para discutir

o escopo e os principais elementos e, ao final da elaboração de cada um, houve uma

reunião de apresentação e entrega.

Para a formulação dos novos instrumentais de monitoramento foram desenvolvidas

planilhas no Microsoft Excel, conforme determinado no edital. Alguns princípios

nortearam esse trabalho:

1) Padronização. As descrições dos dados coletados foram uniformizadas.

2) Confiabilidade. A coleta do dado primário passou a ser individualizada e não mais

agregada. O preenchimento desagregado permitia a geração automática do instrumental

de monitoramento, reduzindo erros e necessidade de conferência.

3) Simplificação. Os layouts dos formulários de monitoramento foram elaborados por

tipologias de serviços similares, reduzindo a variedade de dezenas para apenas cinco. O

preenchimento do dado desagregado também permitia que a planilha fosse alimentada

diariamente, eliminando a sobrecarga de trabalho nos últimos dias do mês.

Juntamente com os novos instrumentais foram propostos processos mais céleres de

consolidação regional e municipal, com a utilização de dados mais confiáveis e

robustos.

O caderno de indicadores considerava o leque de indicadores existente e os organizava

quanto à forma de cálculo e fontes dos dados primários. Buscou-se defini-los

conceitualmente, permitindo a qualquer pessoa, mesmo fora do contexto da política,

compreender seus objetivos e ler os resultados. Foram criados novos, priorizando

indicadores de processo e de resultado, de forma a melhorar a capacidade informativa

do sistema de monitoramento e avaliação. Foram também propostos indicadores mais

simples, que passariam a compor estatísticas auxiliares. Além disso, foram concebidos

grupos de indicadores úteis para os gestores dos serviços, buscando a criação de sentido

para o preenchimento dos instrumentais de monitoramento e, sobretudo, a melhoria da

gestão do serviço com base na gestão de informações.

Por fim, foram propostos indicadores passíveis de agregação para todo o município ou

para cada uma das tipologias de serviço, permitindo que os gestores no nível central

tivessem um painel de monitoramento coerente com os objetivos de cada serviço e

comparável temporal e geograficamente, apurado em tempo hábil para tomadas de

decisão rápidas.

d. As relações

A receptividade da contratante aos primeiros produtos elaborados não foi positiva.

Considerando o conteúdo do diagnóstico apontando uma série de questões de diferentes

naturezas e a premissa da contratante de que o sistema de monitoramento e avaliação já

estava bem construído, funcionava bem e necessitava apenas de pequenos ajustes,

podemos compreender o impacto causado.

A partir da apresentação do diagnóstico, a relação entre contratante e contratada se

transformou de maneira mais evidente. As reuniões para elaboração dos demais

produtos passaram a ser momentos em que a tônica era uma tensão permanente,

verbalizada sob a forma de questionamentos relacionados ao diagnóstico e à pertinência

das propostas discutidas ou a impossibilidade – por parte da equipe contratante – de

cumprimento dos prazos acordados entre ambos. Com o tempo, o diálogo entre as partes

tornou-se escasso, e o processo de revisão e aprimoramento dos instrumentais, que

havia se transformado em uma revisão e aprimoramento do sistema de monitoramento e

avaliação da política, ficou prejudicado.

O período inicial de contratação previsto para quatro meses foi estendido e um novo

cronograma foi pactuado, prevendo a execução do trabalho em oito meses. Então, o

desafio da consultoria passou a ser o de realizar o trabalho da melhor forma possível,

cumprindo os objetivos da contratação, ao mesmo tempo em que não havia certeza de

que o órgão público validaria o trabalho. Ou mesmo de que as propostas de revisão de

instrumentais, indicadores e fluxos seriam aceitos e implementados. Algumas das

soluções propostas, no entanto, certamente ficaram aquém do necessário, em parte

devido à falta de informações relevantes para a conclusão do trabalho de forma mais

adequadas.

5. Análise

É fundamental compreender por que tais impasses e dificuldades ocorrem. As respostas

a essa questão podem contribuir para a elaboração de estratégias que levem à sua

superação de maneira eficaz e, por consequência, viabilizem o desenvolvimento de

avaliações mais robustas e úteis.

A contratação da consultoria em avaliação foi provocada por um organismo

internacional, um agente externo à própria secretaria dotado poder necessário para

desencadear um processo dessa natureza, dimensão e potencial de impacto na

instituição. Isso porque faz aportes financeiros relevantes para o desenvolvimento de

várias ações no município. Essa premissa determinou a montagem de um pouco claro

cenário que trazia, de antemão, uma questão crítica e determinante para o processo

como um todo: a origem externa da demanda não foi recebida pela equipe técnica

responsável pelo monitoramento e avaliação como uma oportunidade. Isso porque já

consideravam, como dito anteriormente, que o sistema de monitoramento e avaliação

implementado necessitava apenas de pequenos ajustes, em especial nos instrumentais. O

lugar ocupado pelas avaliações nas instituições burocráticas ainda está em construção.

Não raro, são associadas a elas o papel de cobrança e de aferição dos resultados do

trabalho dos profissionais e não da política em si. Isso prejudica a própria formação da

demanda (Garcia, 2015) e, com isso, todas as etapas subsequentes do processo

avaliativo. Inclusive, a definição dos responsáveis pela avaliação. Esse caso aporta a

peculiaridade de ter, ao longo do processo, se transformado em uma meta-avaliação pois

avaliou o processo de avaliação da política. Nesse sentido, uma equipe habituada por

ofício a avaliar se colocou em meio a uma situação inversa e se mostrou pouco

confortável com esse novo lugar.

Teria sido útil a criação de um quadro de referência (Garcia, 2015), para reconstruir o

ponto de onde haviam partido e permitir, com a obtenção dos resultados, evidenciar os

avanços e os resultados já alcançados. Esse quadro também poderia tornar os problemas

identificados impessoais, já que suas causas poderiam ser identificadas em momentos

cronologicamente distantes ou em circunstâncias que fogem ao controle da própria

equipe gestora.

A tradução do desconforto, na prática, foi um posicionamento refratário por parte da

equipe de gestora, mesmo antes da contratação da consultoria, como pode ser observado

no próprio edital de contratação, que determinava um escopo de trabalho pontual, com

um aporte de recursos financeiros pequeno, insuficiente para um trabalho de consultoria

mais complexo, que ao fim foi o que se transformou. Além disso, o cronograma

inicialmente proposto foi de apenas quatro meses, o que reforça essa percepção.

Esses elementos nos levam a supor que o objetivo da equipe contratante pretendia

constituir-se somente em um ‘espasmo avaliativo’ (Garcia, 2015), sem grandes

consequências para o cotidiano da execução da política no que tange aos seus processos

e conteúdos. Porém, a existência de um agente financiador determinando que uma

consultoria externa fosse contratada inviabilizou esses planos e ensejou a construção de

um discurso no qual os problemas já eram conhecidos e suas respostas certas já estavam

elaboradas. É uma consequência pensar que o recurso faltante era operacional e não

analítico e esse era o lugar da consultoria.

Mas demandas pouco consistentes trazem consigo incoerências. E o edital de

contratação previa, por exemplo, que o diagnóstico contemplasse em seu processo

diferentes estratégias de consulta de todas as pessoas envolvidas com o monitoramento,

em diferentes lugares da política. Compreendemos que a atribuição de valores

pertencentes ao coletivo (Spink, 2001) e não a um pequeno grupo gestor, incorre na

utilização de metodologias construcionistas, o que qualificamos como um avanço em

um processo avaliativo. Porém, uma vez ouvidas, as pessoas querem ter suas sugestões

e propostas analisadas e, sobretudo, querem saber que tratamento receberam suas

contribuições (Guba, Lincoln, 2011). O paradoxo é revelado quando a consultoria

incorporava uma sugestão proveniente dessa escuta ampla e esse ponto não era visto, de

imediato, como uma melhoria.

De todo modo, o edital previa atividades e etapas, como reuniões frequentes de

discussão e apresentação de cada um dos produtos e o desenvolvimento conjunto das

rotinas necessárias para a implementação dos resultados, com a realização de

treinamentos para a equipe central e para as equipes regionais. Com isso, a consultoria

incorporou à proposta de trabalho uma combinação de métodos tradicionais e

construcionistas.

Compreendemos que essa combinação agrega ao processo potencial de obtenção de

resultados melhores, mais coerentes com os objetivos e, sobretudo, mais úteis para a

organização, já que prevê a inclusão de múltiplos atores, o uso de dados de diversas

naturezas (qualitativos e quantitativos) (Guba e Lincoln, 2011) e a utilização de

estratégias diversas para conhecer o objetivo avaliado. Mas agrega riscos, já que

pressupõe um alinhamento de propósitos em favor da avaliação. Nesse caso, tal

combinação, aliada a uma cultura política ainda não completamente afeita aos novos

paradigmas da gestão pública e não disposta à execução do processo de forma

participativa, contribuiu para o relativo insucesso do trabalho de avaliação.

Em primeiro lugar, entendemos, a posteriori, que priorizar a adoção de métodos da

avaliação construcionista em detrimento dos métodos tradicionais teria possibilitado o

alcance de resultados mais satisfatórios. Mais do que diagnosticar e receitar a solução,

era importante ouvir as pessoas envolvidas, compreender suas expectativas, anseios,

frustrações e caminhos percorridos por elas até aquele momento. Atentar-nos para os

meios e estratégias propostas por elas para a solução dos problemas também por elas

identificados. Ou seja, mais do que qualquer outro instrumento, importava para o

sucesso do processo fazer as melhores perguntas que trariam as respostas mais

adequadas.

Teria sido importante compreender o contexto específico de inserção da política, as

pressões a que os atores estão submetidos e, com isso, compreender a tendência reativa

a quaisquer avaliações que possam representar a exposição negativa de seu trabalho.

Uma consultoria de avaliação pode ser, para essas pessoas, uma forma adicional de

pressão, que se juntaria às pressões de gestores, conselhos da sociedade civil e órgãos de

controle. Ainda há toda a subjetividade envolvida na recepção dos resultados. O

diagnóstico reconhecia qualidade e vantagens do processo de monitoramento executado.

Por outro lado, foram identificadas várias questões e pontos de melhoria que podem ter

sido lidos como fracassos pessoais. E lidar com os fracassos não é uma tarefa fácil

(Garcia, 2015).

Por isso, mais importante do que diagnosticar problemas objetivamente, como a ciência

moderna defende, é buscar de maneira conjunta, a construção de um processo dialético,

compreender os problemas e encontrar as soluções. Ou seja, a participação dos

operadores da política deveria ser intensa, não restrita ao papel de verbalizadores ou

respondentes, mas também como proponentes das mudanças que desejam, uma

avaliação realmente democrática (Spink, 2001).

A proposta de avaliação construcionista faz um convite à sensibilidade dos avaliadores

em reconhecer que há, na relação com os avaliados, determinadas interações envolvidas

em detrimento de outras, o que influencia as escolhas e decisões de ambos os lados.

“Quando se investiga algo, realidades são construídas e modificadas. Então, os

processos avaliativos são construídos e também modificados na relação” (Souza,

McNamee e Santos, 2010).

As dificuldades encontradas, que decorreram, em parte, da ausência de conhecimento

teórico e prático para aplicação da proposta construcionista, mas também da presença

ainda incipiente dessa metodologia na realidade das políticas públicas no Brasil,

poderiam ser superadas a partir da mudança na forma de fazer perguntas. Embora a

intenção tenha sido avaliar para contribuir, os agentes avaliados parecem ter

compreendido que as perguntas feitas queriam evidenciar as falhas.

Entre os problemas que se interpõem à adoção de metodologias construcionistas estão

uma cultura de avaliação, pouco favorável ao diálogo e a utilização de resultados como

insumos para aprendizagem (Garcia, 2015) e as demandas impostas por um processo

dessa natureza. Avaliações construcionistas precisam de mais tempo do que avaliações

tradicionais. E, nesse caso, costuma valer a regra de que ‘tempo é dinheiro’. Como, não

raro, recursos para avaliação não são previstos a priori, os montantes destinados a essa

atividade costumam ser escassos.

Em contextos como esse, é fundamental compreender que as ações de avaliadores

possuem centralidade no processo de avaliação, e que as escolhas metodológicas podem

aproximar ou repelir as pessoas avaliadas. Avaliadores devem atentar para o fato de que

perguntas limitam as respostas possíveis. “Fazer perguntas sobre problemas convida

respostas que elaboram, expandem e refinam uma realidade de problemas. Fazer

perguntas sobre o que é valorizado e sobre experiências de sucesso é elaborar, expandir

e construir possibilidades” (Souza, McNamee e Santos, 2010). Buscar criar um

ambiente colaborativo, onde soluções e impasses sejam pensados em conjunto, contribui

para superar a situações em que avaliados e avaliados parecem estar em lados opostos.

Ainda que o processo de avaliação realizado contivesse métodos construcionistas, é

forçoso reconhecer que o núcleo metodológico se constituía em diagnosticar e receitar.

Implicitamente, processos avaliativos assim conduzidos transmitem a ideia de que as

pessoas avaliadas, mesmo quando ouvidas, devem reconhecer o papel desenvolvido por

avaliadores e acatar suas posições e ideias. De certa maneira, há aqui uma

incongruência entre as formas como objetivos e métodos são comunicados entre as

partes. Ou seja, mesmo que o objetivo da avaliação seja o de contribuir para a melhoria

de processos e resultados, o que se comunica por meio desses métodos é que

avaliadores são julgadores dos avaliados. A rejeição ao processo avaliativo é, portanto,

uma reação “natural”.

Compreendemos, portanto, que processos avaliativos em contextos de baixa

institucionalização da avaliação requerem novas formas de abordagem. É preciso que

avaliadores compreendam seu lugar no processo e busquem criar um ambiente

favorável ao diálogo e ao trabalho coletivo. A utilização das premissas do método

construcionista, que sugere atenção sobre os tipos de perguntas e respostas formuladas

(Souza, McNamee e Santos, 2010) como primeira abordagem tende a contribuir para a

construção de uma relação cooperativa e construtiva. Ainda que em outros momentos

métodos tradicionais sejam empregados, o processo avaliativo conduzido por meio de

métodos que implicam numa relação horizontal entre avaliadores e avaliados possui

maior potencial de sucesso.

6. Considerações conclusivas

A cultura política ainda é um entrave para que a avaliação assuma uma posição central

nas políticas públicas. De modo geral, intervenções ainda não são pautadas em

diagnósticos consistentes e atuais e seu desenvolvimento é muito afetado por

sazonalidades políticas, que tendem a se caracterizar por descontinuidades quando

partidos e ideologias diferentes assumem o poder. Situações como essa impedem ou

dificultam o processo de avaliação no médio e longo prazos por impossibilitarem a

comparação.

Todavia, boas avaliações são necessárias para a eficácia das intervenções públicas e

para o desenvolvimento adequado de intervenções. Avaliações de políticas públicas no

Brasil, ou mesmo meta-avaliações, em geral se pautam por métodos tradicionais, que se

caracterizam por uma pretensa objetividade do avaliador frente aos avaliados e da

aplicação de técnicas predefinidas de coleta e análise de dados pouco afeitas a

adaptações durante o processo

Demonstramos, pelo caso aqui relatado e analisado, que determinados contextos

organizacionais demandam abordagens e técnicas de avaliação que superem os modelos

tradicionais de avaliação. A metodologia construcionista, que propõe uma abordagem

não objetiva, em que ambos os lados, de avaliadores e avaliados, são considerados como

partes que afetam e são afetados pelo processo, é um caminho que merece ser

considerado.

Entretanto, processos de avaliação dessa natureza demandam mais tempo e dinheiro

para sua execução. Considerando que ambos são recursos escassos na maioria das

organizações, em especial as públicas, isso se torna um problema. Se consideramos o

aporte de recursos específicos para avaliação, o problema se agrava, tendo em vista a

baixa institucionalização e reconhecimento dessa prática como fundamental para a

eficácia e efetividade de políticas públicas.

A análise a posteriori do caso relatado nos leva a propor a aplicação de métodos mistos

de avaliação. Elementos das avaliações tradicionais construcionistas podem ser

utilizados em conjunto, adaptados a cada contexto, permitindo que o processo de

avaliação supere barreiras culturais e institucionais, levando a um resultado vantajoso

para a organização e para as políticas públicas.

A defesa de métodos mistos é necessária. A exemplo do que tem sido praticado em

outros países, mostrando-se, inclusive, como uma alternativa para a redução dos custos

e do tempo e, ao mesmo tempo, o desenvolvimento de processos que, ao final, são

capazes de oferecer conclusões sobre os resultados e também de explicá-los.

Referências

Brasil. Ministério do Desenvolvimento Social e Combate à Fome. Censo SUAS 2014:

análise dos componentes sistêmicos da política nacional de assistência social. Brasília,

DF: MDS, Secretaria de Avaliação e Gestão da Informação; Secretaria Nacional de

Assistência Social, 2015.

Pereira, Luiz Carlos Bresser. 2005. “Da administração pública burocrática à gerencial”.

In: PEREIRA, Luiz Carlos Bresser, SPINK, Peter (orgs). Reforma do Estado e

Administração Pública Gerencial. Fundação Getúlio Vargas.

Faria, Carlos Aurélio. 2005. “A Política da Avaliação de Políticas Públicas”. Revista

Brasileira de Ciências Sociais – vol. 20 nº. 59.

Garcia, Ronaldo Coutinho. 2015. “Subsídios para organizar avaliações da ação

governamental”. In: CARDOSO JR. José Celso; CUNHA, Alexandre dos Santos

(orgs.). Planejamento e Avaliação de Políticas Públicas. Brasília: IPEA.

Guba, Egon G., y LINCOLN, Ivonna S. 2011. Avaliação de quarta geração. /tradução

Beth Honorato. Campinas: Editora da Unicamp.

Jannuzzi, Paulo de Martino. 2016. Monitoramento e avaliação de programas sociais:

uma introdução aos conceitos e técnicas. Campinas, SP: Editora Alínea, 2016.

Brasil, Ministério do Desenvolvimento Social e Agrário. Censo Suas – Bases e

Resultados. Censo SUAS 2015. Gestão Municipal. Disponível em

http://aplicacoes.mds.gov.br/snas/vigilancia/index2.php. Acesso em 09 jul. 2016.

Newcomer, Kathryn E., y Hatry, Harry P., y Wholey, Joseph S (orgs.). 2015.

Handbook of Practical Program Evaluation. New Jersey: Wiley. Fourth edition.

Pires, Roberto, y Sa e Silva, Fabio, y Lopez, Felix. 2010. “Métodos qualitativos de

avaliação e suas contribuições para o aprimoramento de políticas públicas” (capítulo

25). In: IPEA, Brasil em Desenvolvimento. Brasília: IPEA, pp. 661-688.

Souza, Laura, y McNamee, Sheilla, y Santos, Manoel. 2010. “Avaliação como

Construção Social: Investigação Apreciativa”. In: Psicologia & Sociedade, 22 (3), 598-

607.

Spink, Peter K. 2001. Avaliação Democrática: propostas e práticas. Coleção Abia:

Fundamentos da Avaliação nº 3. Rio de Janeiro: Associação Brasileira Interdisciplinar

de Aids.

Trevisan, Andrei; van Bellen, Hans. 2008. “Avaliação de políticas públicas: uma

revisão teórica de um campo em construção”. In: Revista de Administração Pública –

Rio de Janeiro 42(3):529-50, mai/jun.

Wu, Xun, Ramesh, M., Howlett, Michael, y Fritzen, Scott. 2014. “Avaliação de

Políticas Públicas”. In: Wu, Xun; Ramesh, M.; Howlett, Michael; Fritzen, Scott. Guia

de Políticas Públicas: Gerenciando processos. Brasília: ENAP.