1

Transcrição do Diálogo “Como aprender com os erros nos processos de avaliação”

Data: 05 de dezembro de 2014, das 9h às 12h30. Local: Ação Educativa – Rua General Jardim, 660. Vila Buarque. São Paulo (SP).

Realização: Instituto Fonte para o Desenvolvimento Social

Apoio: Fundação Itaú Social e Instituto C&A.

Sobre os palestrantes

Andreia Saul: Doutora na área de meio ambiente pela Universidade de São Paulo (USP),

é uma das fundadoras do FICAS, organização da qual é diretora executiva desde 2001.

Como consultora independente, já atuou na capacitação de gestores/as e equipes para

elaboração e implementação de planos estratégicos e de mobilização de recursos em

várias organizações. Ministra cursos e oficinas pelo Brasil nas áreas de gestão e

educação para organizações da sociedade civil e institutos empresariais.

Contato: diretoria@ficas.org.br

http://www.ficas.org.br

Haroldo da Gama Torres: Economista e demógrafo, atualmente é Diretor de Análise e

Disseminação da Fundação Seade (Fundação Sistema Estadual de Análise de Dados).

Tem se dedicado ao tema de monitoramento e avaliação de políticas públicas nas áreas

de educação, transferência de renda, nutrição, habitação, saneamento e

desenvolvimento urbano. Colabora regularmente com agências multilaterais, ONGs, e

diferentes empresas e órgãos públicos no Brasil.

Contato: hgtorres@uol.com.br

http://www.seade.gov.br

2

Martina Rillo Otero: Consultora e facilitadora de processos de desenvolvimento social, é

diretora do Instituto Fonte e coordenadora do Projeto Avaliação. Bacharel em Psicologia

e mestre em Psicologia Experimental: Análise do Comportamento, ambos pela PUC-SP. É

organizadora do livro “Contexto e Prática da avaliação de iniciativas sociais no Brasil:

temas atuais”.

Contato: martina@institutofonte.org.br

http://www.institutofonte.org.br/

Martina Rillo Otero, Instituto Fonte: Meu nome é Martina, sou consultora do Instituto Fonte, organização que lidera o Projeto Avaliação, que tem como objetivo o fortalecimento do campo de avaliação no Brasil. Eu queria começar dando as boas vindas e perguntando ao Carlos se ele quer dar as boas vindas também aqui em nome da Fundação Itaú Social. Carlos Garrido – Fundação Itaú Social (FIS): Eu queria agradecer a todos aqui, a Fundação Itaú Social está junto com o Fonte aqui nesse projeto avaliação. Eu acho que não vou fazer uma apresentação institucional aqui, mas trabalho num programa da FIS que fala sobre avaliação. Então a gente também está junto nessa e também quero discutir um pouco aqui sobre quais aprendizagens são essas aqui com vocês. Obrigado. Martina Rillo Otero: Obrigada, Carlos. Eu queria só contar algo dos bastidores da organização de um evento disposto a trazer esse tema de como a gente aprende a partir de erros dentro de processos avaliativos. Poder olhar para erros e avaliações não é fácil; então é um tema que produz um certo incômodo. Tradicionalmente, como é que a gente lida na nossa sociedade com a questão do erro? A gente normalmente usa o erro para apontar, para punir. Na escola, por exemplo, se a criança erra na prova, é punida. Ela pode até repetir de ano (se estiver na série em que é permitido essa prática); o professor culpa a criança... Enfim, é uma imagem do erro, de como a gente lida com o erro na infância, mas acho que se repete nos diversos âmbitos da nossa vida. A gente pune, a gente usa o erro para culpar, para achar uma pessoa responsável por aquele erro e aí a gente tende sim a ocultar o erro. A gente esconde o erro dos nossos processos. E aí vêm muito essas falas na área social, principalmente. Então, no lugar de falar de erro, o que a gente escolhe? A gente sempre escolhe falar de cases de sucessos. “Vamos falar das boas práticas”. E é claro que a gente aprende a partir de cases de sucessos certamente. Mas eu acho que a gente fala muito mais de cases de sucessos do que de cases de fracassos. Eu acho que é muito forte falar de cases de fracassos ou de práticas ruins. Sabemos que toda organização, além de ter boas práticas, também tem as más práticas. E como é que a gente lida com elas?

3

Outra frase comum é essa: “Meu projeto, minha iniciativa, minha prática, enfim, só tem impacto”. Temos dificuldades em dizer que a nossa prática, às vezes, tem um impacto limitado. Eu produzo resultados, meu projeto produz resultados. Sim, produz, mas também não produz, também tem limites. E, finalmente, outra fala comum é “pode apostar no meu projeto, pode investir em mim que é retorno garantido”. Por trás dessa escolha de só falar do impacto e dos acertos, está a mensagem “pode confiar em mim porque eu não erro”. “Pode investir no meu projeto, que eu não erro”. Tudo certo com essa fala se não fosse o fato de que por trás dela tem uma fala de que não preciso mais aprender. Acho que essa é a grande questão por trás desse tema que a gente queria trazer hoje. Se a gente não erra mais, a gente está estacionado. Os acertos são muito importantes, mas se a gente só acerta, a tendência é não mudar; não existe variabilidade só no acerto. Então a gente precisa ter o acerto e precisa ter também o erro para ter necessidade de aprender. E é por isso que a gente trouxe esse tema hoje. Qual é a relação disso tudo que eu estou falando com a questão da avaliação? O que é avaliar? Avaliar, fazer uma avaliação, envolve necessariamente olhar para uma prática, para uma iniciativa, para um programa, para um projeto. E esse olhar é olhar de verdade, é ver o que está acontecendo. Avaliar é atribuir valor. Isso é uma definição que se usa muito. Se eu já considero o meu projeto 100%, então avaliar realmente não é necessário. Se a gente pressupõe que a gente só acerta e temos uma grande dificuldade de olhar para o erro, para o ajuste necessário, então a gente não precisa avaliar. Essa tem sido talvez uma das grandes dificuldades da disseminação ou do trabalho com avaliação nas organizações. A gente sabe, por exemplo, no Projeto Avaliação, a gente produz pesquisa sobre o que tem sido feito pelas organizações com relação à avaliação e é isso: todo mundo já atribui uma grande importância à avaliação. Há 15 anos, a gente tinha um olhar mais resistente à avaliação. Para que avaliar? “Não precisa, a gente sabe o que está fazendo. Não precisa avaliar”. Hoje em dia, se fala: “Não, tudo é muito importante avaliar”. Mas aí a gente pergunta: Avaliar para quê? Num contexto em que a gente não pode olhar para os ajustes, para os equívocos, para os erros? Então a questão nossa está aí numa cultura em que a gente tem tanta dificuldade de aproveitar o erro, eu não diria não só olhar, mas aproveitar o erro, de fato, a avaliação tem muito pouco espaço. As perguntas do convite de nosso debate são: - Que erros acontecem mais frequentemente em processos de avaliação? - O que podemos aprender com eles? - Qual é o papel do erro na aprendizagem e nos processos de avaliação? - De que forma os erros podem indicar caminhos para assegurar o sucesso na avaliação? Enfim, como podemos lidar com o erro de uma forma mais honesta? Como mudar a cultura predominante de ocultar o erro e conseguirmos uma sociedade mais preparada para avaliar e aprender?

4

Os nossos convidados aqui vão responder hoje assim sem errar (risos). Começaremos pelo Haroldo da Gama Torres, Diretor de Análise e Disseminação da Fundação Seade. Haroldo da Gama Torres: Eu queria agradecer o convite para estar com vocês hoje. Para quem não conhece, a Fundação Seade já tem 35 anos agora e ela tem sido tradicionalmente a organização produtora de informações estatísticas do estado de São Paulo. A gente produz desde análise infantil, emprego, desemprego, enfim, tem uma gama muito grande de informações. E de uns dez anos para cá, a Fundação tem sido chamada muito frequentemente para se envolver em esforços de avaliação de políticas públicas. Inicialmente, para nós, esse foi um exercício meio complicado porque o produtor de dados não é exatamente alguém que está envolvido em processo de gestão, de produção de política, mas esse foi um esforço que a gente foi se engajando recentemente e de dois anos para cá a gente institucionalizou isso. Criamos uma divisão de avaliação dentro da Fundação, a Maria Belucci, que está aqui presente, é a gestora, e passou a colaborar muito mais intimamente com o setor público em várias áreas, especialmente, na Secretaria de Planejamento, mas também em outras secretarias no processo de avaliação. Então, esse ano (2014), a gente acabou de concluir três avaliações de diferentes programas no estado. Isso é muito pouco, o estado tem 1.500 programas, mas estamos começando tentar construir um esforço sistemático de oferecer avaliações e programas. Eu quero ser muito específico porque a gente fala muito de avaliações e políticas públicas. Política é uma coisa muito grande, imagina o que é uma secretaria de educação com orçamento de R$ 22 bilhões e 250 mil funcionários. Avaliar isso é uma insanidade do ponto de vista lógico. Então, o que a gente está falando, é avaliar um programa que é uma unidade orçamentária específica, com um gestor específico. É muito mais razoável imaginar que você pode errar num programa específico e entender como esse programa funciona. Sobre as perguntas destacadas pela Martina, tive dificuldade de construir um pensamento sobre tudo isso. Acho que o primeiro erro importante na avaliação é não avaliar. Nós estamos falando no caso do setor público, que tem 1.500 programas; alguns deles a gente foi visitar e eles têm 30 anos de existência, sendo que nunca passarem por nenhuma avaliação. Às vezes, mudava de secretaria para secretaria. Então faz muito sentido você revisitar as condições sociais desse programa e tentar pensar como estão hoje, o que estão fazendo, o que eles estão oferecendo para a sociedade (ou não), mas essa é uma prática que ainda é muito limitada, existe muita resistência à ela. Trazendo aí um conceito que a Martina já mencionou de avaliar ou atribuir valor, então a ideia é sempre uma ideia de qual valor disso que você está fazendo. Agora se você for pensar numa perspectiva mais dos meus colegas economistas, eles vão tentar monetizar isso. A avaliação econômica, no fim do dia, transforma, tenta mensurar numericamente, quantitativamente e em termos monetários, o valor de um certo projeto de atividade, ou

5

seja, muita resistência na área social, é claro, mas eu acho que existe um primeiro ponto que é a negociação sobre o que é valor. Num certo momento, estava envolvido numa avaliação e um consultor internacional que estava nesse processo falou uma coisa que me chamou atenção: que “tem que chegar numa avaliação como abrindo uma janela”. O gestor, às vezes está engajado no dia a dia do programa e literalmente assobiando e chupando cana, correndo atrás, fazendo coisas, mas se a gente pensar como uma oportunidade de parar e olhar para as nossas práticas e também se olhar, arejar um pouco essa sala fechada que a gente está. Às vezes, quando a gente está num programa, a gente consegue pensar na avaliação como essa oportunidade, essa janela. Acho que pode significar mesmo um caráter muito pesado que a avaliação assume em certos contextos. Se avaliar é atribuir valor, nós estamos falando basicamente de três coisas diferentes. Em primeiro lugar, é negociar esses valores que estão envolvidos. O que você vai avaliar? O que está na mesa? O que você está discutindo? Há um segundo ponto que é construir um argumento. Se o valor é este tem que conseguir afirmar por que esse programa tem valor. Então você tem que construir um argumento funcional que possa justificar o valor associado nessa avaliação. Em terceiro lugar, esse argumento racional (em tese) deve ser baseado em evidência… em alguma evidência qualitativa, quantitativa, então você tem que ter algum elemento empírico que permita dizer “sim, tem valor, por causa disso e estão aqui as evidências que formam essa condição”. Isso daqui é um pouco, digamos, a cultura lógica de qualquer avaliação - seja ela quantitativa ou qualitativa. Mas se você está falando de determinado valor, se você está falando de um certo modo de observar, de dizer por que com uma certa racionalidade, você está tentando associar esses valores e a prática que você tem, você está tentando trazer os elementos que vão dar fundamento para isso que você está falando. Um segundo erro que a gente observa com muita frequência nas avaliações no setor público que é o problema do lugar institucional da avaliação. Geralmente a primeira decisão importante aqui é quem é esse avaliador. Às vezes você vai optar por um avaliador interno em parte porque é muito caro avaliar; em parte porque não tem tempo de avaliar. O avaliador interno tem seu método e seu lugar, ele conhece muito o programa, está envolvido em seu dia a dia. Agora ele também muitas vezes está tão envolvido (até emocionalmente) com aquele programa que tem dificuldade de se distanciar dele e construir um olhar mais objetivo em torno desse programa. Também, às vezes, avaliar envolve conhecimento técnico e não necessariamente esse profissional vai ter. Acho que 99% das vezes a avaliação vai ser interna porque você tem que no dia a dia da política estar observando e fazendo. Em vários momentos, entretanto, a avaliação externa pode contribuir para abrir um pouco mais essa janela e para a gente ter um olhar um pouco mais aberto. Outro aspecto importante sobre isso é que quando a gente escolhe um avaliador externo, qual é a posição institucional desse lugar? É muito comum e eu tenho visto acontecer

6

várias vezes de o avaliador no setor público é chamado pelo secretário ou por uma outra gestão e não tem nenhuma conexão com o programa. Isso gera uma série de desconfortos. Às vezes, o conselho pede uma avaliação e o grupo que está envolvido ali fica super desconfortável com aquela avaliação que está presente naquele momento, naquele lugar. Um ponto de vista importante é que é fundamental um diálogo muito refinado entre os gestores do programa em específico e os avaliadores externos. Agora também isso não significa virar parceiro da equipe porque você está numa posição institucional que é delicada e pode eventualmente inviabilizar sua avaliação, dependendo da circunstância que você se engajar com o programa. Então o lugar é muito delicado, tem que se dialogar muito profundamente com a gestão e se aproximar muito do programa, conseguir fazer um diálogo muito rico com esse programa, mas sem ser do programa. Ele é externo, ele tem um papel específico, ele tem um lugar que é uma identidade, então achar esse lugar não é trivial e nem sempre a gente consegue. Eu já vi várias avaliações morrerem nesse momento por estarem muito distanciadas, com pouca informação sobre o programa, ou, por outro lado, avaliações pouco reflexivas sobre o que de fato o programa está fazendo. Então achar esse espaço e esse lugar não é nada trivial. Eu acharia olhando para o setor público que tem uma tradição muito hierárquica eu tento afirmar que a avaliação não precisa ser total, ela não é uma coisa categórica. Eu acho que a gente teria que pensar avaliação como parte de um processo permanente em todo programa. Eu gosto de dizer que todo programa parte de uma espécie de mito fundador. Outro dia eu estava envolvido na avaliação de um programa que era de distribuição de leite. Partia do princípio que leite é bom. Esse era o mito fundador. Lá nos anos 90, quando o programa foi fundado, isso fazia todo sentido porque não havia programas voltados a melhor a renda, por exemplo. Hoje, 25 anos depois, quando há o Bolsa Família, quando se tem problema de obesidade, faz ainda sentido oferecer um leite gordo para a população? Então é importante revisitar esses mitos fundadores e repensar se ainda fazem sentido. Será que hoje mudaram as circunstâncias? Você tem um conjunto de coisas importantes que podem ter mudado e que de fato nos obriga repensar aquelas hipóteses e teses que a gente tinha anteriormente, nos permitido imaginar que aquele projeto fazia sentido. É preciso trazer novas evidências que vão nos ajudar a repensar as nossas concepções originais. Um terceiro erro que acho fundamental é não entendermos qual é o momento do programa. Eu já vou entrar falando um pouco dos tipos de avaliações que a gente considera lá na Fundação Seade. A gente trabalha normalmente com esses três tipos de avaliação: avaliação de execução e implementação da política e avaliação de impacto. Basicamente você está se perguntando quando você está fazendo uma avaliação de processo: O problema de fato aconteceu? Existe um monte de programa que existe nominalmente no orçamento, mas, às vezes, não aconteceu de verdade por diferentes problemas do ponto de vista de financiamento, ou do ponto de vista do desenho do programa, ou até porque não foi feito concurso. Então se você não examinar os aspectos processuais e organizacionais desses programas, você não vai conseguir entender o que está acontecendo aqui. Mas esse programa aconteceu, ele saiu do papel. Sei lá a merenda chegou nas escolas, mas chegou mesmo? Chegou na data certa? Chegou a quantidade certa? Chegou na hora certa? Você tem um

7

monte de perguntas sobre a execução do programa que então o programa pode estar acontecendo, mas ele pode estar sendo executado de uma forma melhor ou pior. Você pode ficar pensando várias possibilidades quanto à execução daquele programa. E, por último, ele pode ter saído do papel, mas não está fazendo a menor diferença para transformar as condições sociais. Então, ao invés de ajudar, ele pode não estar ajudando. Então são três dimensões analíticas diferentes e entender em que lugar você está olhando e por que você está olhando em cada lugar desse eu acho que envolve um entendimento muito específico e delicado sobre aquele programa em si, o momento que ele está sendo implementado, isso é importante. Quando examinamos programas públicos, vemos grandes desenhos legais organizacionais, financeiros; então aqui é um trabalho normalmente qualitativo, envolve examinar a documentação do programa, envolve testar os gestores, entender como está sendo personalizado em diferentes lugares, enfim, um trabalho muito mais da área de gestão pública, às vezes de ciências políticas, um conjunto de atores envolvidos normalmente nesse tipo de exercício. Você pode estar olhando um sistema de logística, você pode estar olhando para sistema de informação, muitos programas têm os seus próprios sistemas de monitoramento e avaliação interna, você pode estar olhando para isso e discutindo, enfim, tem uma série de aspectos aqui possíveis de serem observados. Nessa avaliação de implementação você está querendo saber se está acontecendo e se está acontecendo como você previu. A gente está falando aqui então da produção, da regularidade, da cobertura: será que ele está atingindo quem ele se propôs a atingir ou não? Será que ele está nos lugares mais pobres? Muitos programas estão nos lugares mais necessitados. Qual é a produtividade? Qual é a qualidade que está chegando? É legal ou não é legal? Você pode olhar também para a opinião dos atores aqui, se os beneficiários estão satisfeitos ou se não estão, se a sociedade está engajada? Você pode estar se perguntando sobre os servidores: como eles estão? Como eles estão envolvidos ou não? Enfim, a execução tem um conjunto de termos bastante amplos que são importantes e normalmente a gente pode trabalhar tanto com a vantagem administrativa ou qualitativa, depende um pouco do objeto que você está olhando e prestando atenção. Quando você está falando de avaliação de impacto que é a grande quimera hoje na mesa, todo mundo fala demais de avaliação de impacto, qual é o impacto do programa. No fundo está se perguntando sobre o efeito que esse programa trouxe para o beneficiário. Só que aí você tem que eleger muito cuidadosamente qual é a dimensão que você vai observar porque tem uma enormidade de dimensões possíveis que o programa pode ter. Por exemplo, em um mesmo programa, você pode escolher olhar para a percepção do sentimento de pertencimento à sociedade - então eu melhorei esse sentimento. Você pode fazer uma avaliação bem mais dura sobre empenho escolar, melhoria dos estados ou empregabilidade, enfim, você pode escolher digamos desde objetos de avaliação quantitativos até optar em olhar para objetos que são mais qualitativos, mas não menos importantes do ponto de vista social. Essa escolha aqui não é apenas uma escolha do avaliador. É uma escolha que tem que ser construída junto com o programa.

8

Queria falar entrando um pouquinho mais em avaliação: tem um quarto nível na avaliação que é muito importante que é a escolha da dimensão a ser avaliada. Em avaliações de impacto, a gente tem se engajado um pouco nisso e dialogado muito com nossos colegas economistas, muitas vezes as pessoas têm a visão muito categórica da sua dimensão. Eu trouxe aqui um exemplo fácil. Se você quer olhar os efeitos do novo material didático, você vai escolher um exame padronizado, você vai construir uma linha de controle, você vai introduzir aquele material didático sobre as escolas para poder observar e comparar escolas que receberam o material ou que não receberam o material e no final você vai ter dois exames antes e depois da avaliação, antes e depois da introdução do material para poder fazer essa avaliação. Esse é o consumo típico de uma avaliação de impacto do tipo experimental. Quando a gente faz isso, basicamente eu tenho um problema inicial que é definir o que eu quero avaliar. É o desempenho dos alunos ou é outra coisa que eu quero avaliar? Se os professores se engajaram mais, se a turma ficou mais satisfeita e feliz? Existem outras possibilidades aqui que tem que ser discutidas, negociadas e consensuadas e isso não necessariamente todos nós temos os mesmos valores relacionados ao tema e ao objeto da avaliação que a gente faz todo dia. Então esse é um momento muito sensível na avaliação que a gente faz que é a avaliação desse objeto inicial e, às vezes, os nossos conselhos, as nossas aulas não são muito categóricas. Eu quero saber o impacto nesse período. Nós vamos olhar os registros que são importantes, que são necessários ou que o grupo estaria envolvido. Então para fechar o que eu queria deixar para vocês porque a gente tem quatro coisas na prática, então a primeira coisa fundamental para nós ficarmos engajados nessa história de avaliação é construir um diálogo muito profundo com o gestor desse programa mais respeitoso preservando a distância. Nós que estamos envolvidos temos que saber separar. Nós somos o time da avaliação e vocês são o time dos gestores, nós temos que conversar muito, temos que fazer uma coisa em conjunto, mas com identidades diferentes e ter condições diferentes. E, claro, você tem que entender do programa. Não dá para imaginar e isso é um erro seríssimo: muitas avaliações que eu conheço é uma avaliação que eu chamo de paraquedas. O avaliador chegou ali de paraquedas, conhece pouco o programa, pegou uma base de dados, processou, entregou e tal. Não é assim. Vem para dentro, vem conhecer, vem entender, vem participar. Muita clareza sobre os limites e possibilidades de avaliação. É aquilo que nós falamos dessa escolha do tema, do objeto de avaliação. E, por último, é um olhar diagnóstico que a Martina provocava. É um olhar diagnóstico sobre suas premissas, sobre o programa, sobre avaliação. Nós sabemos muito pouco, na verdade. Muita coisa que a gente acha que tem impacto não tem impacto. E muita coisa que a gente acha que não tem impacto, tem impacto. Então é sempre se perguntar e colocar a pergunta: De fato o que eu estou fazendo hoje nesse momento e nessa circunstância vai ter o impacto que eu imagino que tenha? Então esse olhar diagnóstico é muito importante. E por último essa ideia de que a avaliação deve ser parte de um processo permanente de construção de um programa. A gente gostaria muito de tirar essa ideia de avaliar é sem pensar. Os programas não vão acabar. Matar um programa é a coisa mais difícil que existe. É muito complicado porque todo programa tem constituintes, tem gente que está interessada, tem funcionário público, tem atores sociais envolvidos. Matar um programa

9

é quase impossível. Agora ele pode ser parte de um processo permanente, a avaliação pode entrar permanentemente nesse processo como um referendo de melhoria, de aperfeiçoamento, de mudança, então essa ideia de você pensar a avaliação como parte do processo, acho que é muito importante e necessária. Martina Rillo Otero: Chama muito atenção pensar a avaliação não só como um processo de construção, mas como que ela também responde ao momento do programa e não só do ponto de vista da sua implementação, do seu momento institucional, do seu momento político. Andreia Saul, FICAS: Bom dia para todo mundo. É um prazer estar aqui falando sobre um tema que sou super apaixonada. Recebi este convite num final de ano, a primeira data sugerida pela Martina eu não podia, eu não sei se eu falei assim, “nossa, graças a Deus, ficar falando sobre erro e tudo mais”. Mas enfim, no final deu né, a gente conseguiu conciliar a data e está ótimo. Enquanto estava me preparando, pensando nesse tema dos erros e tudo mais veio muita coisa na minha cabeça porque acho que a gente realmente está sempre querendo guardar o erro de alguma forma. A gente deixa para lá e fica se baseando mais naquilo que está dando certo. Procurei trazer exemplos práticos nessa apresentação, pois há momentos em que a gente erra ou vai por um caminho que não é exatamente o melhor caminho. Para começar, acho que é sempre legal quando a gente pensa nas palavras… o que significa realmente erro. Refleti sobre a primeira pergunta “como aprender com os erros em processos de avaliação?”. Primeiramente: o que é aprender? A palavra vem do latim que significa compreender, moderar, tomar para si. Já a palavra erro significa perder, andar sem destino, cometer um erro na adequação. Acho que uma forma de a gente aprender é via etimologia da palavra, saber o que significa. Aprender com o erro, de repente, é compreender a inadequação cometida e apoderar-se de um novo destino. É construir um novo caminho. Para a gente também desmistificar um pouco, né, então eu acho que a gente irá construir um caminho novo. No final, quando você erra, não significa que você está indo por um caminho que é o mais adequado para aquilo que você está fazendo, pode ser adequado para outra coisa. Então como você descobre aí um novo caminho? Escolhi duas perguntas do convite para refletir. “Que erros acontecem mais frequentemente em processos de avaliação?” Para pensar sobre isso de uma forma mais organizada, peguei o nosso caminho que significa um plano de organização, como é que a gente pensa um processo de avaliação. Um dos caminhos também, não é o caminho mais correto e nem o único caminho, mas

10

quando a gente é chamado para fazer uma avaliação ou quando a gente está formando as organizações para fazer os seus próprios processos de avaliação, a gente pensa nesse caminho. E aí, claro, ele não é linear, mas eu peguei cada item desse e trouxe um pouco que erros acontecem em cada um desses momentos da avaliação. Nesse caminho a gente pensa que ele começa com alinhamentos iniciais e depois eu vou falando cada um deles, depois a gente vai para a escolha da abordagem e do foco da avaliação, a construção dos indicadores (muitas vezes e muitos avaliadores fazem as perguntas avaliativas nesse momento). Depois a gente segue para a escolha dos métodos, a etapa da análise e o desdobramento da avaliação, disseminação dos resultados. Na etapa de alinhamento e questões iniciais, observamos a quem interessa essa avaliação dentro da organização? Quem conduzirá essa avaliação? Quem vai participar, quem será envolvido nessa avaliação? Ela é interna, mas quem vai participar? Se ela é externa, quem vai participar? Outras perguntas significativas: por que avaliar? O que avaliar? O que é avaliação? O que podem ser considerados como resultados? Porque a gente tem concepções bem diferentes de tudo isso, né? Nesse primeiro momento a gente, às vezes, propõe workshops; investimos um tempo maior, pois é um momento importante dentro do processo de avaliação. Quais são os principais erros que a gente tem vivido nesses momentos ou visto nesses momentos? O primeiro erro é pular essa etapa. Em geral, quando somos contratados para fazer uma avaliação, a coisa que vem é: “A gente não tem tempo para isso”. E aí pular essa etapa ou fazer essa etapa com um grupo restrito de pessoas você acaba comprometendo todo o processo de avaliação. Eu vivi um exemplo deste quando avaliei uma parceria entre uma empresa e uma organização. Estava muito no começo ainda da carreira, quando eles disseram que não tinham tempo, toquei sem isso. “Então tá, a gente conversa com os gestores da empresa, depois com os gestores da ONG e tudo bem”. E aí nunca conseguimos criar um senso sobre aquilo que estava sendo avaliado. As expectativas foram muito diferentes. Então se você não reunir todo mundo para criar esse senso comum, você acabará tendo problemas na hora que você vai analisar ou quando você vai contar os resultados da avaliação, que pode ser outro momento tenso, às vezes. É importante também o conhecimento da cultura e contexto atual da organização. Se você é um avaliador externo e chegar de paraquedas, ou se você está avaliando internamente, é preciso olhar para dentro da sua organização e ver em que momento ela tá. Então se eu estou precisando mobilizar, eu estou com o cofre vazio, estou muito precisando disso, é para isso que a avaliação tem que servir. Não adianta nesse momento eu falar “vamos aprender sobre, refletir sobre”, porque isso não vai colar. Então tem que conhecer um pouco em que momento a organização está, qual é a cultura dela, que espaço a avaliação ocupa dentro disso aí. Se a gente não se aprofunda nisso, isso também acaba gerando um erro. A percepção dos diferentes interesses, dos conflitos, principalmente das coisas que não são ditas nesse primeiro momento, então a gente precisa ter uma escuta ativa muito grande. Se eu estou fazendo internamente, como é que eu me abro para ouvir o que as

11

pessoas estão dizendo, mas ouvir de verdade, né… escutar, ouvir, entender, aprender, estar aberto a isso. Se estou fazendo externamente, também como percebo o que está acontecendo, qual é o nó da organização? Porque, às vezes, a organização chama para avaliar determinado aspecto, mas o nó está muito mais embaixo. Aí você avalia isso e o nó não sai, então não adiantou nada essa avaliação, ficou uma avaliação pró-forma. E a criação de um sentido comum, que eu acho que falei no primeiro exemplo, que é um pouco esse momento de mediar esse processo, como é que você escuta tudo isso, ajuda a costurar, devolve para a organização, conversa e cria um senso comum sobre o que é a avaliação, o que são resultados, porque senão, lá no final, quando você vai apresentar, o cara vai dizer “não, mas isso não é o resultado para mim”. Então se você não descobre aí esse é um ponto de atenção porque senão depois não vai funcionar lá na frente. Depois na etapa da escolha da abordagem e do foco, o que está por trás é qual o modelo de avaliação que melhor atenda as expectativas da organização e o que essa avaliação se propõe a responder e eu falo que a principal pergunta é: “o que essa avaliação não vai responder”. Porque a avaliação não vai responder tudo. E aí os pontos de atenção, os erros, enfim. Você vê que a gente nem chama erro, chama ponto de atenção. Minimiza, minimiza aí esse negócio (risos). Acho que um erro comum é quando o avaliador externo impõe o seu modelo. Por exemplo, o FICAS acredita na avaliação participativa e impor esse modelo em uma organização que é muito hierárquica não vai funcionar. Já passei por isso. Se você coloca que “precisa ser participativo”, dá bons argumentos (e olha que somos muito bons nisso), a organização diz “tudo bem, vamos fazer”. Aí você vai falar com o jovem e ninguém fala. Você cria um constrangimento com o jovem educador que, na verdade, é um erro, né, porque você não está conseguindo colher nada porque sempre você tem um que de alguma forma amedronta o outro. Mesmo quando você faz um grupo focal só com jovens (sem os coordenadores por perto), eles não falam porque não estão acostumados a falar. Então você acaba tendo um desafio de um modelo porque você quis impor algo que não combina com a organização. Aquele primeiro passo, de conhecer a cultura e o contexto, é fundamental, senão você acaba querendo impor uma coisa que funciona somente para você. Ter conhecimento dos diferentes modelos também. A gente gosta e usa a avaliação participativa, mas quais são os outros modelos que existem? É necessário oferecer um leque de modelos, olhar para isso. Acho que quando a gente faz internamente, às vezes, a gente não tem esse conhecimento todo, então precisa dar uma estudada se a gente vai fazer uma avaliação interna. E se é uma externa, o avaliador também tem que ter a humildade de levar os vários modelos e ver o que combina com o contexto e com a cultura da organização. Acho que outro erro é o foco amplo. A gente já passou por isso quando fomos avaliar um programa e perguntamos “o que vocês querem avaliar?”. O responsável pela gestão disse: “Tudo”, “Estou pagando, é caro, aproveita para avaliar tudo!”. Aí não dá, né, não funciona, porque não tem recurso, não tem fôlego, não tem fim. Você passa os próximos 10 anos tentando avaliar os 10 anos do programa. Quando estamos fazendo internamente uma avaliação, a gente tem que se debruçar um pouco sobre o que é mais importante, então aquela pergunta a quem interessa a

12

avaliação, o que ela vai responder nesse momento, é significativa. Depois é poder focar e criar um sentido comum em relação a tudo isso. Geralmente nós como equipe queremos avaliar muitos aspectos, o que aprendemos e tal. Já o gestor, quer saber de uma forma resumida “e aí, que resultado a gente teve?”. Aí se você não cria um senso comum também na hora que você vai mostrar os resultados, você vai ter um desafio. Na construção de indicadores, é preciso verificar se os objetivos do programa estão sendo ou foram alcançados (se é de processo ou de resultado) e como criar indicadores coerentes com os objetivos. E aí eu acho que o primeiro ponto de atenção e que às vezes a gente erra nisso é a qualidade dos indicadores. É necessário criar indicadores realmente coerentes com os objetivos. Às vezes eu vejo uma série linda de indicadores, mas eu olho para o objetivo e não consigo ver qual indicador vai conseguir mensurar alguma coisa. É preciso fazer um elo, precisa ter um marco zero, uma linha de base. A gente teve uma avaliação em uma organização que no final, conversando com os educadores, perguntamos “e aí, quais são os resultados?”. Eles responderam “Os jovens estão super comunicativos”. Ok, isso era um dos objetivos. “E como é que eles eram antes?”, “Ah, eles também falavam muito!”. Ah, então isso não é resultado. Que indicador que você estava querendo medir e como que era no começo para ver como é que está agora, senão também não vai funcionar. É preciso observar também a facilidade de medir esse indicador, porque, às vezes, também o indicador é tão estratosférico que você olha e fala, “nossa, que lindo, mas como é que eu vou medir isso mesmo?” Então aí eu acho que tem toda uma parte da qualidade dos indicadores. O conhecimento do objeto da avaliação, o que você está avaliando, que projeto é esse, que programa é esse, que ação é essa, você precisa saber muito, não é só entrar com um paraquedas. Olhar os objetivos e depois criar os indicadores que no final não são coerentes, não fazem sentido para a organização que você está avaliando. Isso a gente já passou, na época foi até o que motivou muita gente a estudar mais a avaliação. Um dos programas que a gente estava participando foi avaliado e aí no final era um programa de formação das organizações, enfim, no final tinha um resultado de desempenho escolar. Aí eu olhava para o resultado e olhava para os objetivos do próprio programa e pensava “isso não tinha nenhum objetivo relacionado a isso”. Ou seja, não adianta eu inventar coisas, no estilo se o projeto é de educação, então o desempenho escolar está automaticamente dentro. Depende de quem está executando o projeto. Acho que conhecer bem o objeto a ser avaliado ajuda a gente a trazer resultados mais coerentes. O entendimento se for uma avaliação participativa e/ou a escuta ativa dos diferentes atores, que é impossível construir indicadores se você não está conversando com quem está lá na ponta olhando o desenvolvimento daquele objetivo e pensar que a gente precisa sempre ter indicadores quantitativos e qualitativos. Dependendo do espaço que a gente vai, às vezes, se é um espaço mais empresarial, os indicadores quantitativos são mais relevantes e é isso é o que eles querem. Se a gente está trabalhando com as organizações, a gente quer ver os qualitativos e tudo mais. Então é legal quando a gente pode mesclar isso, conseguir um acordo para isso.

13

Há pessoas que acreditam na “crença do imensurável”… a autoestima da criança é imensurável, o respeito é incomensurável… Eu falo que não tem nada imensurável, os indicadores é que são mal construídos. Se eu quero medir o respeito no dia a dia, por exemplo, posso fazer uma conversa com os educadores e observar como eles entendem como respeito para eles; não significa que isso é respeito para todo mundo, mas para aquele grupo que está desenvolvendo o projeto é isso que eles estão buscando quando eles falam respeito, autoestima ou protagonismo. Se a gente não cria indicadores com base no dia a dia deles, a gente não consegue também medir nada porque os nossos projetos são super qualitativos. Depois a gente vai para a escolha dos métodos, que é uma etapa super importante, com muitos pontos de atenção. Então o que está por trás, como será feito o levantamento de dados para o processo avaliativo, se o instrumental escolhido é adequado, o interesse principal é obter dados que revelam quanto ou como/por quê… Como é que eu faço aí uma boa escolha do método que eu vou usar? Acho que os pontos de atenção são: conhecimento do tempo e dos recursos disponíveis para esse processo de avaliação. Se escolho métodos quantitativos e qualitativos que vão me ajudar a trazer mais os resultados, mas tenho apenas dois meses para fazer e, sei lá, R$ 10 mil de verba, então não adianta, eu não vou conseguir fazer. Vou contar um exemplo que tivemos em uma avaliação grande com parceiro: a gente falou, vamos fazer x questionários, só que esquecemos de incluir no orçamento o custo do estatístico (que costuma ser caro). Daí a gente olhava para isso e falava “nossa senhora, então vamos tirar dinheiro da gente para pagar o estatístico”, porque a gente sozinho não dá conta. Então pensar e planejar são momentos importantes. Você coleta um monte de dados e depois não dá conta, né, não tem dinheiro, não tem conhecimento, não tem tempo para analisar tudo isso. Eu falo que tudo que a gente colhe na avaliação precisa de alguma forma analisar e interpretar porque senão a gente também está jogando recursos fora. Depois o conhecimento das expectativas e do objeto da avaliação. Então qual é a expectativa mesmo que a gente fez lá naquele primeiro momento do alinhamento inicial, o que a gente queria com essa avaliação? Isso vai me dizer que método eu preciso né, se eu quero um método mais quanti, mais quali, se eu quero os dois ao mesmo tempo... Sempre que possível, nós juntamos métodos quanti e quali, não ficar também só em um ou só em outro porque nunca consegue responder tudo. Na análise dos dados, como os dados serão organizados, o que os dados revelam, é possível comprovar hipóteses iniciais ou formular novas hipóteses, então como é que eu analiso? Falo que, além do alinhamento, para mim essa parte da análise é o segredo da avaliação. Acho que aí tem alguns pontos de atenção: a triangulação dessas análises, então é necessária a abertura para múltiplos olhares porque muitas vezes a gente faz avaliação toda participativa, aí quando chega na avaliação fica na mão do avaliador que não triangula isso com outros olhares. Fica, às vezes, um olhar que tem a ver com o seu modelo mental. Quando estou analisando os dados, eu tô fazendo o meu filtro, o filtro que vem pela minha bagagem, pela minha experiência.

14

A gente fala que fez uma avaliação toda objetiva, aí quando chega aqui na análise, na interpretação, você não pode dizer que “acha alguma coisa”, os dados têm que falar. Você está lendo os dados, você não está achando. Porque senão você fez toda uma avaliação e aí chega na hora e você está trazendo só o teu olhar. Não adianta. Acho que a objetividade na interpretação, sair desse “acho que”. Precisamos ter cuidado com a transparência dos dados, com a ética dos dados, que acordos você fez com o gestor, como é que você trabalha isso depois, né. A palestrante mostra uma série de slides com imagens com duplo sentido.

O que a gente está olhando aí? Um copo e duas pessoas conversando. Tem gente que só olha o copo. Mas é isso, como é que você traz outros olhares para aquilo que você está vendo? Porque você pode olhar só o copo ou só as pessoas, não há nada de errado com isso. E os dois são objetivos. Pensando que isso faz parte quando a gente está falando de interpretação. Então isso que eu quis dizer quando a gente está falando de modelo mental, é o nosso olhar. Às vezes, olho só uma coisa, se eu não triângulo nesse momento (a gente corre o risco de não triangular porque está com pressa, porque não tem dinheiro, porque isso, porque aquilo), aí você perde; você olha só o pato morto ou o coelho, você olha a roupa, mas não olha a pessoa. Além de ter vários olhares para o mesmo dado, também na análise é importante trazer várias pessoas para analisar. Porque eu acho que é na análise que às vezes a gente corre esse risco. A gente não tem dois olhares ou não leva isso de volta para aquele grupo para também olhar com a gente. Às vezes uma coisa que me chamou muito a atenção, quando eu levo para o grupo, o grupo fala “não, mas isso aí a gente já sabia, não tem nada de novo, novo para a gente é aquele outro”. Para mim talvez aquilo fosse mais comum, então se você não volta isso ou se você não triangula com outras pessoas que estão fazendo o processo como avaliador, como quem está no dia a dia, você não consegue ter um cronograma mais amplo disso aí.

15

Esse juízo de valor que a avaliação traz muito que é pouco, muito, forte, fraco, não existe porque você precisa ter o parâmetro de comparação porque senão é isso, você está olhando para uma coisa que para mim 30 talvez seja muito, sei lá, mas 30 e 400 e no ano passado a gente teve 100, então a gente está melhorando. Então precisa olhar o todo né. O último item que destaco é o desdobramento: o que fazer com os resultados da avaliação? Com quem os resultados da avaliação serão compartilhados? Então você vai compartilhar o que você teve né. Eu tenho um exemplo ótimo aqui de relatório, então você faz tudo direitinho ou acha que está fazendo e aí essa foi também uma avaliação que eu participei desse processo e é aquela avaliação que o que era para ser avaliado, gente, o resultado não vai ser muito bom, são seis meses de investimento num projeto de educação, você não tem muito resultado. Você faz avaliação, alinha tudo isso no começo, você vai apresentar um relatório e daí o cara que contratou bateu na mesa, jogou o relatório e falou “não era isso que eu queria”. Avaliação é isso, nem sempre é aquilo que você queria. Então você também leva, negocia, porque não dá para mentir, os dados são esses e é isso que veio. Inclusive eu tinha avisado no começo, não precisa me bater, mas acontece. Eu acho que precisa se preparar para o resultado da avaliação né, e o resultado muitas vezes pode ser negativo. Você recebe aquele relatório, você tira tudo que foi negativo e mostra aquilo que é positivo? Então você não aprendeu nada com o processo porque o que vai acontecer é que provavelmente você vai cometer os mesmos erros no próximo, o mesmo desvio de caminho porque você não olhou para aquilo que você fez um caminho que não era aquele para aquele projeto. Acho que outro cuidado e erro que, às vezes, a gente colhe aí diz respeito à linguagem usada na disseminação dos resultados. Se um banco me pede uma avaliação e eu mando um relatório super descritivo, com 50 páginas contanto todos os detalhes, eles vão ler? Não, né. Essa linguagem não é a mais adequada para esse público. Tudo bem que eu quero contar todos os achados dos seis meses de observação que fiz, mas para o cliente eu tenho que mostrar os pontos principais. Então essa linguagem é fundamental e é um erro que às vezes a gente corre. Quem está fazendo o processo não quer perder nada, a gente quer contar tudo que a gente viu porque tudo é importante. Mas como é também que você sintetiza para mostrar? Que tal criar uma história em quadrinhos para mostrar resultados para um grupo de jovens? Então precisa pensar isso, pois estamos meio padronizados com o formato que mostramos. Considerar os resultados no planejamento e tomada de decisão: isso é a maior crítica que a gente ouve em relação aos processos de avaliação quando somos chamados para fazer. Quando chegamos na organização, a primeira pergunta que ouvimos é “mas para que? Por que a gente avalia?”. Mas se isso nunca serve para a gente replanejar e nem para tomar a decisão se o projeto vai continuar ou não vai, se essa ação precisa mudar essa ou aquela estratégia, então se ele não vai ser incorporado, não se deve avaliar mesmo porque daí as pessoas já estão meio cansadas. Não irá servir para nada. É preciso abrir espaços de reflexão e aprendizagem a partir dos resultados. Como é que a

16

gente consegue provocar e garantir esses espaços dentro da organização? Se está fazendo internamente e se você está fazendo externamente, como é que você sensibiliza para isso ao longo do processo? Do contrário, também não vai servir para nada os resultados. E aí só para fechar vou falar porque a gente está falando tudo isso né, isso foi um exercício que a gente fez em um dos grupos, quais são as palavras que para a gente são importantes na avaliação? Para a gente avaliar é preciso desenvolver a arte de fazer e provocar boas perguntas visando gerar aprendizagem coletiva e o aprimoramento da prática de forma participativa e permanente. Então esse olhar também que a gente trouxe de todos esses passos tem a ver com esse nosso olhar da avaliação. Para a gente avaliação é isso. Então talvez fosse outro olhar a gente tivesse olhando outro tipo de erro né, outro tipo de ponto de atenção. De que forma os erros podem indicar caminhos para assegurar o sucesso da avaliação? (a última pergunta do nosso convite). Trouxe uma frase que eu acho que tem a ver com isso: “a forma como vemos o mundo afeta a nossa experiência do mundo”. Quando a forma como vemos o mundo muda, então podemos mudar nosso papel no mundo e obter resultados diferenciados. E aí eu acho que a pergunta que está sempre por trás de qualquer processo de avaliação é: o que você faria diferente? Isso na verdade é uma pergunta de sistematização que eu aprendi com a CASA 7, mas a gente usa na avaliação também né. Acho que o tempo inteiro quando a gente está fazendo ou avaliando uma prática, a pergunta que tem é: “está ótimo, mas o que eu faria diferente?” Porque eu acho que é isso que leva a gente a aprimorar. E eu acho que olhar para o erro dessa forma minimiza o peso do erro. O que eu faria diferente em relação a isso que eu estou fazendo? Então é você olhar para o erro com mais generosidade e bom humor. Porque falam que brasileiro ri de tudo, a gente ri da gente mesmo, então se a gente começar a rir dos nossos erros, daquilo que a gente fez, vamos mudar e fazer de outra forma. Então é se perguntar o que eu faria diferente em relação ao que deu certo, mas também em relação ao que não deu. Intervalo para o coffee break. Sessão de perguntas e respostas com a participação da plateia

Martina Otero: Como sou a moderadora, vou trazer a primeira pergunta. Da forma como

lidamos com os erros e com os desafios, acho que temos realmente dificuldades em

comunicar, de trazer o que as avaliações estão revelando pra gente sobre a nossa

prática, sobre os nossos projetos. Queria começar trazendo essa provocação e que os

convidados também comentem um pouco sobre isso: se vocês têm compartilhado os seus

processos avaliativos? Também perguntar ao Haroldo como na área pública as avaliações

têm sido compartilhadas? E também, politicamente, como a gente tem lidado com

possíveis desafios que os programas enfrentam e são sinalizados pelas avaliações?

17

Arnaldo Motta, Instituto Fonte: A questão da avaliação com a perspectiva que ocupa

serviço da nossa realidade é uma postura em relação à avaliação. E eu acho muito legal

que seja assim, mas nem sempre ela é vista ou recebida dessa forma. E o que a gente

percebe é que uma das funções da avaliação é essa coisa de acender a luz, de iluminar

algumas questões desejáveis e outras obviamente indesejáveis. E aí eu quero saber de

vocês essa questão do acender a luz ou a questão da exposição. Avaliação como

instrumento de expor coisas desejáveis e indesejáveis e dois aspectos desse tipo de

fenômeno, ou a questão política (que interferências, que reflexo que isso tem no jogo de

poder das organizações?) e outra é a questão da maturidade das organizações para

poderem lidar com essas questões muitas vezes indesejáveis.

Fernando Rossetti, consultor independente: Eu tenho primeiro uma consideração sobre a

fala em relação a erros. Como o erro é uma parte da avaliação eu fico pensando na

narrativa sobre essa questão é uma coisa muito forte na nossa cultura sobre o erro e

algumas hipóteses, vamos explorar um pouco sobre o que é. Primeiro eu acho que o

sistema educacional nosso, a nossa formação inicial ela traz esse trauma em do erro, em

cima de como as avaliações são feitas quando a gente entra em contato com o sistema

de ensino. E é muito interessante porque o erro é atribuído ao aluno, então a cultura da

repetência (se você vai para Paris, por exemplo, você não reprova o aluno. Se o aluno

não aprendeu, a culpa não é do aluno, é da escola, que não soube ensinar. Mas no Brasil

o sistema de ensino atribui ao aluno o erro e repete o aluno. não atribui à escola, aos

educadores, ao processo que a escola faz a questão que o processo não está ensinando o

que qualquer aluno é capaz de aprender. Eu acho que a imagem do construtivismo essa

coisa que traz o erro como parte do processo de aprendizagem, você faz uma hipótese a

respeito daquele objeto, testa essa hipótese e reformula a hipótese para lançar na sua

aprendizagem. Então o erro não é o não certo, o erro é o caminho da aprendizagem.

Usando imagem bíblica o povo judeu errou pelo deserto, ele não errou não fazendo

certo, ele estava em busca de alguma coisa e é esse é o processo de aprendizagem.

Então eu acho que uma construção de uma narrativa mais positiva sobre o erro com

parte constituída no processo de aprendizagem, o exemplo do construtivismo no ensino

da língua para as crianças. Todas as crianças passam por quatro ou cinco hipóteses iguais

para todo o mundo.

Então uma das hipóteses sobre a escrita que a criança faz é que o tamanho da palavra

que ela faz corresponde ao tamanho do objeto. Então a criança vai escrever mosquito

nessa fase da aprendizagem ela vai escrever MKT porque tem que ser uma palavrinha

pequena. Vai escrever casa, ela põe vários as para ficar maior porque casa é uma coisa

grande. Isso não é um erro, isso é uma hipótese dela de como é que funciona essa coisa

de você ter que entender essa hipótese e a ajuda a fazer perguntas para que ela evolua.

A outra questão que eu sinto tendo trabalhado oito anos no GIFE é que a gente está

18

sobre o domínio de uma narrativa de marketing hoje, o capital, né, na formação da

nossa identidade. E o marketing positivo é tudo, eu aprendi muito rapidamente... no

GIFE eu não podia falar “problema”, eu tinha que falar “desafio”. E a gente faz isso e vai

incorporando. Isso está muito sério no lidar com a sociedade. Eu estava brincando há uns

dois dias com a Andreia em um evento em que estávamos juntos, sobre o “Fakebook”,

né. É tudo fake, né. Eu sempre sou feliz, sou bonito, tudo é bacana. Eu acho que é um

problema da nossa cultura hoje que as avaliações lidam o tempo todo com isso.

A minha pergunta, na verdade, não tem nada a ver com isso. Os projetos que estão

sendo desenvolvidos na área - sei lá 80% dos associados ao GIFE trabalham com

educação, por exemplo, e você está mexendo em sistemas, muitas vezes. E aí você fala

que o nosso projeto está atingindo tantos alunos então está melhor do que no ano

passado que estava atingindo outro tanto. Eu tenho visto uma dificuldade enorme dos

projetos, principalmente no campo de investimento social, de lidar com indicador de

impacto: o que é o que de fato está mudando com a sua ação...

Advocacy hoje, por exemplo, é uma área que tem dificuldade de financiamento hoje

inclusive pelos Estados Unidos porque você não tem métodos para advocacy, no máximo

você conseguiu fazer a lei. Mas fez a lei, então, qual é o resultado que ela surtiu? Então

a minha pergunta é como se constrói indicadores de impacto para processos tão

complexos onde muitas vezes a sua ação não é uma ação isolada, está associada a

políticas públicas ou a uma série de atores e os investidores estão atrás e eles muitas

vezes nem sabem formular essa pergunta, mas é uma pergunta bastante complexa.

Gabriel Siqueira, Instituto Nossa Ilhéus: A minha pergunta é bem relacionada à dele a

respeito de indicadores de impacto. O nosso trabalho é de incidência em políticas

públicas, monitoramento social principalmente do legislativo e educação para cidadania.

A instituição foi criada para fomentar o desenvolvimento sustentável no sul da Bahia.

Então esse é o nosso objetivo com a organização, inclusive algumas das nossas ações são

em fomento a comunidade recreativa, ao turismo. Mas a nossa incidência mais direta é

em políticas públicas, monitoramento, então assim ouvindo tudo que vocês trouxeram eu

fiquei perguntando será que os nossos indicadores de impacto não estariam muito mais

voltados para a eficiência/eficácia da gestão pública, se os vereadores estão de fato

cumprindo o papel deles e a gente avaliar de fato quanto à gestão pública também está

melhorando com a situação ou se a gente continua focado na narrativa que temos desde

a fundação do instituto que é realmente avaliar o índice de desenvolvimento humano do

município e indicadores relacionados com sustentabilidade.

Então eu estou um pouco em dúvida se são duas coisas ou se de repente está focando até

mais na gestão pública que a gente nem está avaliando de fato. A gente faz uma

avaliação do desempenho deles, mas não o quanto está melhorando com o nosso

trabalho.

19

Martina Otero: Vamos fazer uma rodada de respostas e depois a gente volta com mais

perguntas e reflexões. Quem quer começar?

Haroldo Torres: Enfim, são muitas questões... Eu acho que tem uma coisa nessa discussão

importante. Tentando responder um pouco o problema da publicitação, da divulgação

dos resultados tem um problema muito sério nessa discussão que é quem paga a contas

Normalmente um projeto de avaliação é um contrato que alguém sei lá a Fundação

Seade ou alguma outra organização vai ser contratado por um terceiro para fazer uma

avaliação e esse contrato vai ser submetido a regras, inclusive às vezes com

confidencialidades e outros aspectos desse gênero. Então quando a gente está falando

disso, a gente está falando das estruturas hierárquicas da nossa sociedade. Apesar de o

brasileiro ser cordial, a gente promover essa ideia nós vivemos numa sociedade muito

hierárquica e isso é evidente no setor público, mas no setor privado também. Então é

muito importante a gente ter claro isso que a avaliação ela entra num diálogo que tem a

ver com hierarquia dessas organizações. E isso não é nada trivial. Às vezes quando você

está falando com o conselho de uma organização social você está falando com um

conjunto de empresários no setor privado. Já trabalhei muito com setor privado e sei

que você tem uma cultura de indicadores pesada no ponto de vista de produção, de

desempenho, acompanhamento. Cada indivíduo é monitorado dependendo do tipo de

lógica, de gestão que você adota… existe aquela frase famosa dos anos 50 “What gets

measured gets done”, o que é medido é realizado. Então é muito interessante inclusive

ver que de repente um conjunto de empresários contrata a McKinsey para fazer um

projeto dentro da secretaria de educação para trazer essa cultura para a secretaria de

educação. Quer dizer, então quando nós estamos falando disso, estamos falando dessa

estrutura hierárquica, dessa estrutura que a sociedade tem, que as organizações têm e

que avaliação está nessa história.

E aí refletindo um pouco sobre o caso da Fundação Seade… nós somos uma fundação

pública do direito privado que é um bicho estranhíssimo, que causa confusão. Nós temos

a missão institucional de produzir indicadores, né, então nossos indicadores em grande

parte são de políticas públicas, um exemplo de produto é um indicador de municípios

paulistas com setecentos indicadores diferentes para cada um dos municípios paulistas. A

gente faz um esforço muito grande de atualização e produção disso. Agora isso não é

trivial. Depende muito, quero dizer, o apoio institucional que você vai ter para poder

continuar produzindo e publicizando esse tipo de coisa depende muito das ventanias do

poder, dos momentos institucionais, das dificuldades que a gente tem para produzir ou

não certas coisas. Quando falamos de avaliação aí... Porque uma coisa é eu conseguir ter

uma produção contínua de estatísticas publicizadas ou de outros tipos de indicadores que

podem ser qualitativos que estão publicizados e tornados públicos e disponibilizados para

todo mundo. Isso é uma coisa que aos trancos e barrancos a Fundação Seade faz, o IBGE

faz… Eu acho que a gente coletivamente, apesar das muitas dificuldades, temos evoluído

20

em uma cultura de produção de estatísticas no Brasil, etc. Agora outra coisa é quando

você é chamado para fazer avaliação de um programa que é sensível politicamente aí

você coloca outro grau de dificuldade e outro grau de problema do ponto de vista do

diálogo público. A gente na semana passada teve um workshop com uma legislação

mexicana, o México criou uma organização chamada Coneval

(http://www.coneval.gob.mx) . O Coneval é uma instituição independente do estado

mexicano com a missão de avaliar programas públicos e torna por lei todas as avaliações

publicamente disponibilizadas. Talvez isso está institucionalizado dentro da lógica da

política pública mexicana. É uma coisa que o Ipea imaginou fazer em um determinado

momento, mas nunca fez no Brasil. Têm várias discussões sobre isso. Agora aí a minha

avaliação pessoal do trabalho do Coneval que eu conheço o pouco que eles têm feito, eu

acho que é muito descolado dos programas; ele acaba ganhando essa face esotérica

demais da avaliação que dialoga pouco com o programa. Então as decisões institucionais

relacionadas a como é que você vai localizar a sua avaliação dentro de uma estrutura de

poder é muito complicado. É sempre assim: às vezes, um gestor gosta de indicador, aí

você cola naquele cara, e você vai embora. Aí tem outro cara que acha que é tudo um

lixo, um horror. Eu acho que no setor público especialmente a discussão sobre como

podemos dar institucionalidade ao processo de avaliação, mas por outro lado sem matar

a avaliação nessa institucionalização. Acho que esse é um desafio muito grande que não

está resolvido.

Andreia Saul: O pessoal aqui é muito de fazer pergunta, viu. É quase um Fonte. Não sei

também se eu vou conseguir responder todas as perguntas, são muito mais reflexivas,

né? Mas em relação aos resultados que foi a primeira pergunta aí que a Martina colocou:

como a gente tem visto isso então eu acho que a gente tem duas experiências que são

bem diferentes. Acho que quando a gente é um avaliador externo e está fazendo isso

para institutos e empresas, acaba sendo coincidente com o poder público. Quando você

tem alguém que está a frente dentro do instituto e da empresa que quer realmente

avaliar o processo, o resultado, o impacto e tudo mais, acho que é mais fácil fazer os

alinhamentos iniciais e acordos e depois isso realmente ir para frente quando você chega

nos resultados. Ou há casos como aquele que eu contei que você vai apresentar um

resultado e o cara te joga quase o relatório na sua cara e diz que esse não é o resultado

que ele quer. E aí a gente tem tantos resultados que ficaram engavetados como

resultados que estão sendo publicados.

O Fernando Rossetti me falou naquela reunião do GIFE em debatíamos exatamente sobre

transparência, como é que a gente também sensibiliza esses atores todos que

transparência não é um bicho de sete cabeças? Que não deve ser só para mostrar o que

se faz legalmente, mas também para contar os erros, contar quais caminhos que eu fiz e

o que posso fazer diferente agora a fim de conseguir melhores resultados?

Um ponto de partida quando somos chamados para atuar como avaliador externo - e isso

21

eu aprendi na prática mesmo: se o instituto está chamando para avaliar um projeto só

porque ele não quer mais financiar o projeto, não vale à pena fazer avaliação. Mas isso a

gente só vai percebendo com o tempo, né, com a experiência e com a maturidade e com

a coragem de dizer para o instituto: “Não faça. Se você só quer fazer uma avaliação para

dizer que não funcionou, para não financiar mais o programa, não faça, seja

transparente”. Melhor chamar a organização e explicar: “Olha, a gente não vai mais

financiar esse tipo de projeto, essa linha, enfim, o que quer que seja. Porque você na

verdade está fazendo um fake de avaliação. Você faz uma avaliação buscando comprovar

o resultado que você quer mostrar. Então aí você sai com um monte de resultados e ele

só vai mostrar isso porque é isso que ele quer. Isso para nós, do FICAS, tem sido uma

bandeira de luta: todo instituto ou empresa que chama a gente para fazer avaliação,

terá que entender que aquele momento inicial de alinhamento para a gente é

fundamental. Porque se a expectativa do cliente é: “Estou fazendo porque no final não

quero mais financiar”, então, por favor não faça, porque você vai gastar tempo e

dinheiro que você poderia estar financiando, inclusive, um outro projeto. Porque

avaliação, afinal, não é um processo barato.

Acho que dentro daquilo que o FICAS faz, que é formar as organizações para que façam

suas próprias avaliações, eu acho que aí a gente tem conseguido um avanço maior de

desmistificar esses processos de avaliação como algo punitivo e de trazer avaliação como

um processo de aprendizagem mesmo. Então sempre com essa pergunta: O que eu faria

diferente? Não significa que o que você fez foi ruim, ou errado, mas onde pode

melhorar. A pergunta é: Está ótimo? Ok, maravilha, mas o que você pode fazer diferente

até para trazer a ideia da inovação no campo social?

Lá no FICAS também acontece isso, quando uma coisa está dando certo, a gente não

quer mudar porque mudar significa um esforço enorme, gastar dinheiro, estudar e tal.

Essa é uma pergunta que a gente se faz e que levamos nas formações para as

organizações: “ok, é lindo, mas o que se pode fazer de diferente?” Porque senão daqui a

pouco você vai ficando meio parado no tempo porque as coisas estão numa dinâmica

enorme e você está ainda no tempo antigo.

Essa é uma provocação que a gente faz, que o processo avaliativo traz muito, e eu acho

que quando a organização vai avaliar ela passa por esse medo, né, porque avaliar

significa estar aberto para mudar. Então mesmo que eu faça bem, o que eu posso fazer

de diferente?

E em relação aos indicadores... Indicadores são minha paixão, eu acho que a gente devia

sempre fazer indicadores para tudo, inclusive para nossas metas de começo de ano. Ah,

eu quero emagrecer. Ok, quantos quilos, como, em quantos meses?

Houve uma época em que a gente queria só trabalhar com indicador quantitativo. É mais

22

fácil. Depois a gente queria trabalhar com indicador qualitativo, mas também medindo o

grau de respeito com uma coisa só, que não funciona. Então eu acho que as organizações

têm levado muito essa ideia de a gente trabalhar com a construção de descritores ou

pistas que é uma metodologia da Tereza Pena Firme que é uma professora do Rio e a

gente começou desmistificar muito esses indicadores a partir disso. Como é que a gente

constrói indicadores com uma base do que aquilo representa para aquela organização.

Foi isso que eu falei para aquela, não significa que para a outra isso vai fazer sentido,

mas pelo menos para quem está fazendo aquilo esse indicador tem que fazer sentido e aí

eu acho que a gente ganhou um espaço grande em construir indicadores qualitativos.

Acho que aí vai sendo, constrói indicador de processo, de resultado, de impacto, eu acho

que impacto tem ainda uma discussão grande para a gente fazer o que é impacto para a

gente né. Impacto é aquilo que é o efeito? Acho que até você tinha falado né a

eficiência, a eficácia, são os índices, o que você quer ver mesmo com o impacto? Eu

acho que isso precisa ser pensado no começo de qualquer projeto, de qualquer ação

social porque muitas vezes eu penso só até lá no resultado e o indicador vai até aqui

porque eu acho que tem uma discussão muito grande e eu acho que tem escolas muito

diferentes sobre o que a gente está falando de impacto. A gente não usa grupo controle

nem é a favor. Tem gente que usa e acha que para medir impacto precisa ter isso. Então

eu acho que aí precisa ter uma discussão grande para a gente fazer.

Martina Otero: Eu só queria fazer alguns comentários. A pergunta do Fernando de como

construir uma outra narrativa sobre o erro, acho que isso é fundamental. A gente trouxe

esse tema para cá gerando esse certo incômodo. Não é um tema fácil. Mas eu acho que

a questão como a gente fala e lida com o erro e constrói uma narrativa a partir do erro

tem muito a ver depois com a forma que a gente vai lidar com os desafios e o que a

gente vai fazer dessa avaliação. Enfim, isso é uma bandeira também do Fonte. A gente

tem falado muito que não adianta só fazer avaliação no sentido da coleta de dados ou do

processo investigativo, se a gente não vai aproveitar a avaliação em outros processos.

É muito curioso que em todas as falas é citada a questão dos erros da avaliação estarem

muito relacionados com a questão da adequação da avaliação. Como assim adequação? A

gente está tratando aqui nas falas que tem muito a ver com a resposta da avaliação, o

desenho da avaliação, a concepção da avaliação adequada ou respondendo a uma

particularidade, a uma situação específica.

Temos essa tendência a ter os modelos nessa área de avaliação assim, temos mil

definições sobre indicadores, sobre avaliação de impacto. Impacto, a palavra, o termo, o

conceito impacto, hoje em dia, é um conceito que está muito em disputa, afinal

avaliação de impacto é uma metodologia específica de investigação que eu acho que tem

isso de fato ou então a gente pode também medir impacto de outros jeitos senão apenas

com desenhos experimentais ou quase experimentais, por exemplo.

23

A questão é como cada avaliação é pensada em função de um determinado contexto e

não só do projeto, mas institucional né.

Como é que a avaliação responde a um momento de um determinado programa, de uma

determinada iniciativa, de uma determinada organização num momento específico de

estar vivendo uma história específica porque a gente tem mania de achar que a

organização é um negócio parado, “a organização” é assim; bem, ela não é assim; ela é

tão mutável, tão dinâmica quanto nós mesmos. A gente vive questões diferentes então a

organização entra nesse contexto.

E aí finalmente a avaliação também vinculada ou adequada ao processo de

planejamento. A gente tem mania de achar que a avaliação acaba com a entrega do

relatório. A avaliação começa com a entrega do relatório. Eu estou exagerando, mas

como é que a gente de fato pensa os processos avaliativos já colados né ou já

orientados, acho que é mais adequado, para os processos de planejamento? Que

questões de planejamentos também uma organização está vivendo que uma avaliação

pode responder? E aí tem um erro que eu acho muito comum também que a avaliação é

uma área cheia de experts. A gente fez uma pesquisa com avaliadores e a gente vê que

os profissionais independentes que tem nessa área, por exemplo, eu achei uma trajetória

muito acadêmica então tem um preciosismo da metodologia de investigação, do relatório

e tal. Aí demora um ano e meio para fazer a avaliação e aí quando chega o resultado,

nossa, a organização já tomou as decisões que tinha que ter tomado, já aconteceu um

milhão de coisas, a realidade já mudou, então essa questão do tempo da avaliação para

poder também trazer respostas para a vida, para a prática. Esse era um dos comentários

que eu estava querendo fazer. Vamos fazer outra rodada de perguntas e reflexões?

Carolina Imura, Instituto de Tecnologia e Desenvolvimento Herkenhoff & Prates, de Minas

Gerais: Eu tenho pensado um pouco e queria discutir com vocês. De uns anos para cá,

avaliação e monitoramento tem sido pauta das empresas, das ONGs, enfim, e a gente

responde muitos Termos de Referências (de editais), chegam cada vez mais complexos e

isso também acaba tornando como uma camisa de força porque esses editais são muito

fechados. Isso fecha um pouco as possibilidades de desenho já que esses termos já vêm

muito amarrados e depois a gente teve uma experiência dessa lá no instituto, no meio do

caminho a gente se depara com questões e a gente... Nem sempre essas organizações

estão dispostas a esse diálogo, a essa combinação, esse consenso, essa conversa. Então o

que a gente faz? A gente tem agora abertura, uma valorização desse espaço de

avaliação, mas nem sempre essas formalizações permitem grandes produções coletivas

ou participativas. Como vocês veem isso?

Outro comentário: a gente vê como avanço essa preocupação com avaliação, mas nem

sempre uma medição primeira, quase nenhum projeto desses grandes ou que já

começaram a algum tempo têm linha de base e aí a gente tem que fazer malabarismos

24

estatísticos comparativos para conseguir fazer uma avaliação de impacto. Então o que a

gente pode fazer para que a gente consiga talvez disseminar uma cultura de avaliação

desde o início?

Cristiane Simões, PUC-SP: Quando nós vamos conversar com gestores sobre a importância

da avaliação, como temos encantamento por ela, acabamos passando sempre o lado de

aprendizagem, de desenvolvimento do programa porque no fundo é isso que eu pelo

menos aprendi com o Fonte – e dá muito certo. Mas no processo tem a parte que é a

narrativa do erro que a gente não fala, que a gente não explicita e aí eu queria saber se

é oportuno porque eu nunca fiz isso. Não pode criar uma situação constrangedora, como

se desse uma murchada na equipe? Ela começa a perceber, por conta do desenvolvimento

do processo, que a a metodologia precisa melhorar, que o processo em si precisa

melhorar. Às vezes ela percebe que aquele indicador que ela tanto queria não é o mais

adequado.

Pergunto se é oportuno já sinalizar essa narrativa dos contratempos, dos erros, logo no

começo ou não? Eu nunca fiz isso, eu nunca falei o lado B da história. É oportuno,

convêm? Acho que você precisa ter muito cuidado para falar alguma coisa por conta

dessa cultura que a gente tem de não errar, de que o erro é feio, de que o erro vai punir.

Luciana Cury Rea, Colmeia: Tenho o prazer de dizer que tenho participado bastante com

o FICAS, CASA7, então, estou começando a me sentir à vontade com o pessoal da

avaliação. Na ONG em que estou no momento nós temos vários parceiros e todos exigem

os relatórios finais. A cobrança é grande e exatamente assim: “Mas por que o jovem saiu

do curso se o curso é tão bom?” Nós também fazemos a mesma pergunta só que, às

vezes, nós não temos a resposta, ou o que podemos responder é muito superficial.

Esses dias a gente estava comentando assim: Será que temos que ir à casa do jovem para

fazer uma visita técnica com uma assistente social? Porque o jovem responde “ah, eu saí

porque estava cansado”, ou “eu fui trabalhar”, “estou com problema na família”. Enfim,

ele vai inventando um monte de coisas que a gente sabe que, às vezes, não é verdade.

Então como a nossa proposta de formação é que ele seja empregado, quem sai para

trabalhar então não evadiu. Nós criamos esse critério para não nos sentirmos tão mal

quando o jovem, no último mês do curso, sai em busca do trabalho, que é nosso

objetivo.

A gente já passou muita lição e muita avaliação, então é sempre uma coisa nova e

desafiante. Tenho um parceiro que não quer nada detalhado, quer apenas um resultado

numérico: quantos jovens foram matriculados, quantos jovens estão fazendo o curso,

quantos foram encaminhados para a área da formação e ponto. Como podemos também

mostrar para ele os resultados qualitativos também? Tudo de lindo que a gente viu no

processo do curso, que fotografamos e registramos?

25

Lilia Belluzzo, Fundação Seade: Trabalho na avaliação de políticas públicas com Haroldo

e minha pergunta é a seguinte é uma curiosidade e eu acho que vai para os dois. Bom a

gente entra na Fundação Seade fazendo avaliação de alguns programas públicos ou

governamentais, a gente vai tendo uma relação intensa com esses gestores e com outros

níveis hierárquicos do estado. Então a gente sente essa relação também de dentro do

estado porque também somos estado, a gente é a Fundação Seade. A minha pergunta é a

seguinte se vocês e eu acho que o Haroldo também já trabalhou com programas que não

governamentais, programas públicos, eu queria saber se vocês sentem diferença na

forma como o gestor público de um programa governamental lida com avaliação e outro

gestor que não é do setor público, que não está preso às hierarquias públicas do estado?

Existe um lugar diferente do ponto de vista do gestor que está dentro do estado e do

gestor que está fora do estado? E quanto isso impacta a relação com o avaliador?

Rodada de respostas

Andreia Saul: Então foi a Cris que começou, né? Então eu acho que nada tem resposta,

eu acho que essa é a parte boa da última mesa. Não tem resposta, mas tem reflexões

para a gente fazer. Eu acho que o que a gente pode contribuir é com nossa experiência.

Em qualquer proposta de avaliação, em qualquer momento que a gente faz é preciso

contar o plano A, B, C ou D porque o que acontece quando a gente não faz isso é o que

você sente. Em algum momento a própria equipe do programa começa ficar desmotivada

porque vê que exatamente têm coisas que poderiam ter sido feitas de outra forma e tal.

Então eu acho que quando a gente é chamado para fazer uma proposta de avaliação essa

primeira conversa para a gente é a alma do processo. Eu acho que conseguir escutar o

que está por trás de tudo isso, a quem interessa a avaliação, por que ele está querendo

avaliar nesse momento, o que ele quer responder, para quem ele quer responder - isso

vale também para a pergunta da Lilia. Eu acho que quando a gente trabalha com

empresas ou institutos empresariais, o instituto responde para a empresa então ele

também tem aí uma hierarquia que eu não conheço do poder público porque a gente

nunca trabalhou, mas que é a mesma coisa, então, muitas vezes, ele também só quer

apresentar as coisas boas porque senão depois ele o instituto não vai ter mais como

financiar esse tipo de área ou de projeto que ele quer financiar. Mas quando a gente

começa um processo a gente conta tudo né, vai colhendo coisas e até fazendo perguntas

em relação a isso que você tem visto. Mas, além disso, o que mais você tem visto? O que

você pode ver? Eu acho que esse tipo de pergunta prepara a organização qualquer que

seja para que tipo de mudança ela está disposta a fazer a partir do processo de

avaliação. Porque eu acho que a nossa primeira fala é: Para fazer uma avaliação você

tem que estar preparado para mudar. Não importa, mesmo que esteja dando certo ou

está dando muito errado, você está fazendo uma avaliação por que você quer mudar

alguma coisa. O que você quer mudar? O quanto você quer mudar? Porque no final

26

ninguém quer sair da zona de conforto. Por mais que a gente seja inovador e tudo mais,

mas você fica confortável onde você está e é aquela coisa time que está ganhando não

se muda. Nossa experiência é time que está perdendo também não, ninguém quer mudar

nada, as pessoas estão confortáveis ali. Se está dando certo, se tem financiamento,

então está ok, eu não quero mudar nada. Então eu acho que essa provocação é a

primeira porque eu acho que é um pouco da coisa da transparência para não ser uma

avaliação fake. Ou na hora que a avaliação apertar como eu passei o sufoco, o gestor

jogar o relatório e não querer mais nada. Então nunca mais ele vai querer fazer uma

avaliação, muito menos comigo, isso com certeza, nem eu, e aí não serviu para nada

então você fez um processo que foi cansativo, que é caro e eu sempre falo da história do

caro porque eu sempre penso se você está fazendo uma avaliação gastando isso, isso

poderia estar sendo investido em atendimento. ONG de atendimento só pensa nisso, né,

a gente também ou vai fazer avaliação do programa ou vai atender mais uma turma do

programa de gestão? Eu quero atender mais uma turma. Não, mas eu preciso fazer

avaliação. Então se eu estou tirando recurso para isso essa avaliação precisa funcionar

muito, ela precisa gerar mudança, gerar reflexão, gerar perguntas, enfim, eu acho que

acaba sendo para a gente um ponto de partida. E eu acho que um pouco do que você

perguntou, eu acho que os gestores pela nossa experiência de instituto que a gente faz

muito essa ponte, está muito junto com os institutos, eu acho que tem essa coisa o medo

do quanto isso... Como é que isso chega na empresa? Como é que isso chega no conselho

da empresa? E a gente já viu programas que terminaram dentro do instituto porque a

avaliação foi negativa. Porque na hora que a empresa recebeu o relatório do instituto

sobre aquele programa, ela não quis mais financiar esse tipo de programa então isso

também é um risco para o instituto que vai avaliar. Eu acho que isso tem que ficar claro.

Haroldo Torres: Eu estou me lembrando uma história que eu vivi parecida com a sua, um

estudo que eu fiz para uma organização privada e a apresentação dos resultados

aconteceu em um auditório como esse; estava eu sozinho num auditório escuro, aquela

avaliação nunca saiu daquela sala, nem ninguém nunca conheceu. Isso acontece.

Martina Otero: Mas você está vivo ainda.

Haroldo Torres: Eu estou.

Martina Otero: Pelo menos essa parte é boa (risos).

Haroldo Torres: Isso acontece. Eu acho que conceitualmente gente eu insisto muito nessa

extensão de processo, implementação, tem gente que chama de resultado, tem gente

que chama implementação, tem gente que chama de execução e impacto. Quando a

gente está falando, por exemplo, desses indicadores que mencionam do número de

alunos treinados, o número de crianças que passaram pelo programa, isso para mim é um

indicador de execução, você está mostrando que o programa foi executado e chegou nas

27

pessoas pobres ou sei lá num tipo de público-alvo que o programa pretendia chegar. Que

é super importante e tem um monte de programas que foram pensados para fulano e

foram entregues para cicrano está certo? Você pode ter milhares de desvios de rotas, de

problemas etc. Então essa é uma dimensão super importante: demonstrar que a

execução do programa proposto aconteceu. A pergunta de impacto para mim é uma

pergunta muito exigente do ponto de vista intelectual. Você está me perguntando o

seguinte: Tudo bem, todos os meninos estão na escola. Mas eles aprenderam alguma

coisa? O cara pode ter ficado anos aí e saiu um analfabeto funcional. Você está falando

da diferença que o programa produziu. Da diferença às vezes muito sutil que o programa

produziu. Então eu acho que a discussão sobre o impacto tem duas dimensões diferentes,

uma aí estou pensando institucionalmente, uma é a alta gestão ou os grandes

empresários ou quem for que está por trás dessa história, ele está preocupado com a

dimensão de alocação de recursos. Será que o lugar que eu botar o meu dinheiro, ou o

dinheiro do estado, o dinheiro público é no programa A, no programa B, no programa C?

Então você tem uma questão alocativa que é muito importante. Imagina o que é um

estado com 1500 programas, cada programa tem um dono, um cara que promove, tem

programas que tem sociedades civis, igrejas, gente envolvida, é muito complexo. Tem

grupos de interesses, vários tipos, é uma realidade muito complexa. Então como é que

você vai arbitrar que eu vou dar mais dinheiro para o programa A ou mais dinheiro para o

programa B, vou tirar recursos daqui, vou tirar recursos de lá, o empresário também está

pensando nisso no outro lado. Uma fundação está pensando, eu vou investir mais no

programa A e B, alguém tem que fazer essas escolhas. Então a avaliação de impacto

nesse plano ela serve como instrumento cruel às vezes de orientar processos de decisão.

Os programas resistem muito a essa lógica, com razão. Porque você está questionando

por que eu existo, certo? Por que eu tenho que continuar? A outra dimensão que muitas

vezes é ignorada e que é muito importante também, aí eu estou falando de uma história

mais horizontal, avaliação de impacto ser pensada para a melhoria do programa, para

transformação desse programa.

Recentemente uma avaliação de impacto num programa de capacitação profissional que

é um programa que tem impacto mensurável. Só que tinha ali um dado muito

interessante que o impacto é muito maior nas regiões metropolitanas do que no interior.

Isso é um dado bacana demais do ponto de vista de política pública, você pode pensar na

possibilidade de realocar recursos para direcionar, repensar a forma como você está

escolhendo a construção das unidades etc. Enfim, você pode observar que esse programa

tem muito mais impacto no público feminino do que no masculino, esse tipo de achado

gera um monte de informações extremamente úteis para melhorar, etc. Então achar o

lugar institucional para construir uma avaliação de impacto é super importante e

balancear, digamos, a necessidade dessa alta gestão, necessidade do gestor do

programa, essas duas necessidades, essas duas possibilidades é super importante.

O ponto específico do grupo de controle aí que eu acho importante, porque eu não sou

28

canônico de falar que tem que ser uma avaliação quantitativa ou qualitativa, eu acho

que a gente aprendeu muito nesses últimos anos é pensar a possibilidade de ser mais

flexível e trabalhar quali e quanti, às vezes trabalhar só quali, às vezes só quanti, existe

um conjunto de combinações muito interessantes. Agora eu acho que tem que

desmistificar um pouco a figura do grupo de controle porque ele é um instrumento de

comparação. Quanto eu faço grupos focais e eu seleciono usuários e não usuários de um

certo programa, com entrevistados diferentes, eu estou basicamente controlando, estou

tentando observar o mesmo programa na perspectiva de quem está dentro e quem está

fora. De alguma maneira não é exatamente formalmente grupo de controle né, mas de

alguma maneira eu estou preocupado em construir um instrumento comparativo. Nós

analisamos através de comparações, essa é que é a verdade. Então isso é parte da

construção do processo intelectual de tentar observar diferenças sem as quais a gente

não consegue interpretar e avaliar.

Então é assim que eu enxergo, quer dizer, e eu ao longo da minha experiência tenho

participado de avaliações totalmente qualitativas, totalmente quantitativas e eu aprecio

às vezes a potência que o grupo de controle oferece a uma avaliação bem conduzida do

ponto de vista técnico que não é trivial, não é nada trivial, então assim, é muito

complexo fazer, tem um monte de restrições, nem sempre você vai conseguir fazer

também… tem a questão do tempo que pode não ser suficiente, você pode gastar um

recurso que às vezes é três vezes maior do que o projeto, não faz sentido. Agora o que

está acontecendo hoje com internet é incrível porque como a internet gera uma massa

de informações muito baratas, muito fáceis de produzir, é muito fácil experimentar no

âmbito de projetos, por exemplo, estou discutindo um projeto de avaliação em uma

plataforma de ensino adaptativo, você rapidamente produz experimentos ali e muito

rapidamente você tem respostas quantitativas robustas do impacto que, sei lá, você

trabalhar com a trilha de aprendizagem A ou a trilha de aprendizagem B e verificar, do

ponto de vista daquele instrumento de avaliação, que resultados você está tendo.

Acho que parte disso vem muito de uma certa arrogância intelectual, que vem dos

quanti, vem do campo dos economistas em geral, mas assim, eu acho que pode ser um

instrumento heurístico muito rico do ponto de vista analítico e que em vários momentos

pode sim dar pistas muito interessantes do ponto de vista do caminho que você quer

perseguir.

É engraçado que o nosso grupo de avaliação é mais quali do que quanti, né. Eu puxo

muito essa dimensão mais quanti; eu acho que a gente tem sim que construir esse

diálogo, principalmente com empresários que querem respostas mais “quantificáveis”.

Ele precisa de uma base para conseguir decidir “eu mantenho esse negócio ou não

mantenho?”. Alguém tem que dizer isso para esses caras. E isso não é trivial.

Martina Otero: A Carolina tinha perguntado sobre falta de linha de base e aí eu acho que

29

a resposta que o Haroldo deu em relação ao controle, então quando a gente vai fazer,

desenhar um processo de investigação, a gente pode lidar com o conceito de grupo

controle, grupo de comparação. A pergunta que tem por trás é: o que teria acontecido se

o meu projeto não estivesse aqui? Você tem que trabalhar com a possibilidade de se ele

não estivesse aqui, então um grupo que não participou, você pode ter isso como

referência e você também tem como referência o antes e o depois.

Então o que estava acontecendo antes do meu projeto entrar para essa mesma

população e aí vem essa ideia da linha de base, você compara o antes e o depois. Eu

acho que a gente tem uma retificação da linha de base tanto do grupo controle e da

linha de base. A gente vive falando que as organizações não têm informação de linha de

base e na verdade você também pode trabalhar com a ideia da comparação entre antes

e depois, lidando com estratégias que lidem com essa ideia, mas não necessariamente

tem uma linha de base formalmente construída. Então você tem muitas possibilidades,

desde procurar que informações existiam sobre essa população porque as organizações

que não tem muitas vezes uma linha de base formal, mas que tem um diagnóstico, que

você pode usar como referência para comparação entre antes e depois.

Você pode fazer comparações fundadas na população geral, pode trabalhar com a

memória das pessoas. Ou seja, você pode refazer uma linha de base.

Trabalhando com esse princípio, você pode trabalhar com conceito de comparar quem

está e quem não está no projeto; o que está acontecendo antes e o que está

acontecendo depois.

Guiomar de Haro Aquilini, Fundação Seade: Trabalho com a questão de mercado e

gênero. Gostaria de ter uma compreensão melhor sobre as condições para a

institucionalização das avaliações. Vocês arriscam a dar uma opinião a respeito se tem

uma tendência à institucionalização, principalmente no setor público? Eu fiz um curso

recentemente de políticas públicas e ali eu notei que há uma tendência de

institucionalização dos programas públicos na América Latina. Eu queria saber se vocês

têm essa sensação aqui no Brasil, se há essa tendência e como é em outros países

também?

Emília, consultora: Tem duas coisas que eu queria comentar, uma só construindo um

pouco sobre o que a Martina falou sobre a questão da linha de base, que é você

perguntar para as pessoas depois que elas passaram pela intervenção sobre como é que

elas olham o passado, por exemplo, quanto você sabe sobre o assunto x? A pessoa vai

dizer, eu sei, sei lá, muito pouco, ou eu sei nada ou eu sei mais ou menos. Aí ela vai lá,

estuda aquele assunto x e aí no final você pergunta para ela, agora que você estudou

esse assunto x, quanto você acha que você sabia a respeito disso quando você começou?

Então isso muitas vezes você tem respostas diferentes. Então até só para contribuir um

30

pouco sobre essa questão da mistificação da linha de base porque não necessariamente o

que a pessoa… a avaliação que você tem no começo… quer dizer, a gente sempre está

falando de impressões pessoais e essas impressões, opiniões, podem mudar antes e

depois da intervenção. Então isso era uma coisa.

E uma outra pergunta: que estratégias a gente pode usar em termos de linguagem sobre

erros na avaliação; eu acho que tem vantagens e desvantagens a gente transformar

problemas em desafios. Mas no sentido de que assim, quando a gente está fazendo

avaliação e a gente se depara com uma situação em que de repente a gente vai ter que

levantar problemas na implementação, por exemplo, primeiro eu vejo que tem uma

questão de um compromisso de você entender os compromissos com a própria

comunidade, se o projeto sendo avaliado, entender o porquê que aquilo aconteceu.

Quais são os fatores que influenciaram porque nunca um resultado, entre aspas,

negativo, enfim, ou um resultado, ou um problema, ou erro, raramente ele vai ser

resultado de um único fator. Quer dizer você tem que entender quais foram as premissas

que motivaram aquela intervenção ser daquele jeito? Quais foram os fatores que

influenciaram aquilo? É a equipe? São fatores externos? São outras coisas que estão fora

do seu controle? Então eu acho que um tem essa questão do compromisso, mas o quanto

nós ao fazermos a avaliação e ao escrevermos a respeito disso podemos utilizar uma

linguagem que coloque essa questão desse erro, desse problema que aconteceu, de uma

forma que também evite essa culpabilização que é uma coisa que todo mundo tem medo

e que é negativa no final das contas. Então como a gente transforma isso por meio da

linguagem. É mais uma reflexão, eu acho, mas enfim. Obrigada.

Antonio Carlos Garrido, Fundação Itaú Social: Eu acho interessante olhar sobre os dois

campos né, do gestor e do avaliador. Eu acho que a gente tem discutido muito como o

Fonte sobre o desenvolvimento dessas capacidades, então desenvolver capacidade

avaliativa para isso. Então queria saber o que vocês acham e em que medidas esse

processo de avaliação tem essa função formativa também para a gente instituir uma

cultura de avaliação?

Martina Otero: Tem uma pergunta sobre tendências na avaliação de políticas públicas

sobre a institucionalização. Eu posso te descrever o que está acontecendo. Então aqui,

por exemplo, esse projeto nasceu em 2008, os diálogos eram quase que um dos únicos

lugares que você tinha de troca. Hoje em dia você tem um monte de outros eventos

sobre avaliação. A gente esse ano formalizou uma Associação da Rede Brasileira de

Monitoramento e Avaliação. Então tem um processo de institucionalização da avaliação e

eu acho que também da avaliação nas instituições. Então, por exemplo, outra tendência

que tem no terceiro setor, não sei como está no setor público, é de ter gerentes ou

coordenadores específicos para a avaliação dentro das organizações. Isso é uma coisa

nova. Tem uma pessoa que assume o coordenador do programa xyz, tem um cara que é o

coordenador da área de monitoramento e avaliação, que é transversal e que olha.

31

Não sei como está no setor poder público, mas acho que deve seguir a tendência. A Rede

Brasileira é fortemente incentivada pelo MDS e por outros órgãos do poder público.

Sobre a pergunta do erro, eu não sei se a gente tem que esconder o erro, amenizar, mas

você falou uma coisa muito importante que tem a ver com a questão do medo, como é

que a gente lida com o medo. Então eu não sei se a gente precisa falar uma língua. Para

mim ter a ver com alguns acordos iniciais do que vai ser feito com a avaliação?

Lembro que a gente fez uma vez uma avaliação de um financiador de três programas que

eram implementados por três organizações diferentes, de modos muito diferentes.

Quando o financiador chega e pede para fazer uma avaliação com todas, tinha uma

questão de “vamos comparar, né”. Então o programa acontecia de maneiras muito

diferentes, produzia resultados muito diferentes, tinha custos muito diferentes. Então

numa organização tinha um custo per capita muito mais alto do que na outra. E isso

tinha a ver com o contexto de cada organização. Mas uma coisa que a gente precisou

construir no começo foi um acordo proposto pelo financiador de que “olha, o

financiamento não vai acabar para ninguém; a gente não está aqui para isso. Então

alguns acordos podem ser construídos no começo sobre o que vai ser feito com a

avaliação, que tipo de informação vai ser produzida que eu acho que pode lidar com essa

questão do medo… criar condições para poder lidar com o erro de um jeito diferente.

Haroldo Torres: Eu vou voltar um pouquinho na pergunta anterior. Eu discordo um pouco

da grande diferença entre o setor público e o setor privado ou do terceiro setor. Acho

que ainda hoje depende muito da alta gestão e do gestor do programa. É muito caso a

caso.

Na minha experiência as situações onde a avaliação seja num lugar, seja em outro, tem a

intenção de inviabilizar o projeto, o avaliador tem que ter muita sabedoria para parar,

dizer “não vou fazer”.

Assim, às vezes, ela é ressignificada, pode ser problemática no início, mas depois pode

ser ressignificada, muito bem recebida, incorporada e já num processo dialogal. Então

ainda hoje depende muito da abertura, a possibilidade do processo de avaliação e o

sucesso dessa avaliação depende muito da abertura que outros grupos estão envolvidos

em relação a acolher isso ou não.

Nós acabamos de passar por um processo de seis avaliações. Cada uma com a mesma

lógica, era uma encomenda da secretaria do planejamento, pedia para avaliar um

programa que estava numa outra secretaria, então o nosso cliente final era o

planejamento. Cada recepção foi diferente, totalmente diferente. Uma foi

extremamente difícil, complexa, problemática, muito importante assim, e no fim foi

32

interessante porque ela permitiu mobilizar outros atores dentro daquela secretaria que

não participaram do processo e que se apropriaram daquela avaliação para se construir

uma certa coisa muito complicada de existir. Então isso aí eu acho também que eu sou

menos determinístico nisso, você pode combinar tudo no início, mas você nunca sabe o

que vai acontecer no final. É sempre uma surpresa. Assim, tem situações que você faz

um trabalho magnífico e é mal interpretado. Tem vezes que você faz uma coisa

pequenininha, você não está dando muito valor e aquilo ganha uma dimensão super

importante, é muito contingente, depende muito da dinâmica política institucional,

depende muito dos atores que estão na mesa, às vezes o gestor muda no meio do

caminho e aí muda toda a dinâmica.

Então eu acho que aceitar essa dimensão contingente no exercício de avaliação é uma

parte necessária no processo interessante, eu acho que também parte do charme seja

isso, assim, você está entrando sem sair muito bem como vai sair, é bom isso, é legal.

Não precisa ser tão categórico, tão pesado né, você tem um relatório para entregar, você

tem alguém que está exigindo, esperando alguma coisa de você, você vai fazer isso. Mas

o impacto da avaliação é muito contingente e depende muito desse outro se apropriar

disso, usar isso, poder se beneficiar disso ou não né. Então eu acho que é importante a

gente ter também essa humildade de saber que às vezes vai mudar e às vezes não vai.

Uma outra dimensão que é importante na diferença com o setor público é a

complexidade de não confundir avaliação com auditoria. Porque você tem ministério

público, você tem tribunal de contas, você tem um conjunto de organizações que estão

olhando tanto para a execução física, econômica, financeira do projeto e essa é uma

natureza de avaliação muito importante, mas não é disso que a gente está falando, e

esse diálogo é necessário, mas não é trivial. Então nesse território eu vejo a diferença é

importante quando você está falando de um registro mais de auditoria é diferente

quando você está falando de um registro de avaliação para apoiar um programa.

Agora entrando um pouco na questão de linha de base. Em algumas políticas públicas,

nós conseguimos construir sistemas indicadores bastante refinados. O senso escolar, por

exemplo, está aí há quase 20 anos, produzindo indicadores comparáveis, organizados. É

claro que tem um monte de problemas, sempre dá para melhorar, mas isso é um ativo da

sociedade, isso é um ganho do ponto de vista público.

Agora você tem programas que você consegue construir e consensuar, como o sistema de

indicadores de saúde. Agora em relação à política de cultura é muito mais complexo

construir um sistema de indicadores, pois as políticas são fragmentadas. Nós na

Fundação Seade tivemos uma experiência muito delicada que foi tentar construir um

conjunto de indicadores para administração penitenciária. Imagina o que é isso, não é

nada trivial, né? Como é que gera um indicador para medir a quentinha que o presidiário

recebe? Você está entrando, às vezes, em alguns territórios de enorme complexidade. O

33

ponto ali é que a gente estava produzindo indicadores dos desejos… mas como é que eu

vou construir a institucionalidade que vai fazer aquele indicador acontecer? Qual será a

estrutura financeira, institucional, operacional que vai permitir que mudanças nesse

sentido podem acontecer na prática?

Aí está a minha briga eterna com vários do campo mais empresarial que é associação

entre indicadores e incentivos. A gente está do lado da produção de indicadores, quando

você começa a falar, então eu vou dar pontos para policiais, de repente a gente começa

a observar nas estatísticas um aumento muito grande dos atestados de óbitos com causas

não declaradas. E de repente começa a crescer esse negócio. Não estou afirmando que

exista relação de causa e efeito, mas simultaneamente a saída da informação sobre

pontos associados ao desempenho dos policiais, começou aparecer o número de

declarações de óbitos de causas não declaradas. As coisas são conectadas. Então você

pode gerar incentivo super complicado quando você faz certos tipos de associações. Não

sou necessariamente contrário a usar metas, mas acho que o emprego desse tipo de

metodologia exige uma reflexão muito cuidadosa para entender o que ela significa, como

é que elas funcionam, e como é que elas afetam seus próprios indicadores.

O mais importante nisso é muita abertura e muita ética para entender como essas coisas

funcionam e construir uma conversa sincera sobre a política em cima do que você está

fazendo.

Andreia Saul: Eu queria só voltar um pouco na questão do erro. Acho que um desafio para

a gente é contextualizar o erro. Eu acho que ele está sempre dentro de um contexto,

então pode ser algo metodológico, pode ser algo que foi mudado porque precisou ser

mudado no meio do processo, então acho que quando a gente pega isso vale para

qualquer aspecto da avaliação, eu acho que quando você pega um aspecto só, puro, sem

contextualizar com o resto, você corre o risco de errar no processo da avaliação. Essa é a

nossa crítica em relação à avaliação externa, principalmente quando tinham as

cooperações internacionais. O avaliador vinha, ficava um dia na organização e avaliava

se o projeto tinha dado ou não certo. Ninguém consegue fazer isso, não dá para a gente

fazer um recorte tão pequeno e achar que a gente conhece o mundo. Acho que aquela

brincadeira do “zoom”, não sei se vocês já viram aquele filminho que você começa

olhando para uma figura de navio e tomando distância você percebe que esse navio era

capa de uma revista e por aí vai. Então eu acho que esse exercício do olhar é muito

importante quando a gente está olhando para qualquer aspecto que estamos avaliando,

inclusive para o erro e para o acerto. Porque o acerto pode ter funcionado naquele

momento por alguma coisa do contexto que nem estava planejado. Do contrário, a gente

começa a fazer muito juízo de erro, acerto, o que quer que seja.

Acho que pensar que a organização é viva e o processo de avaliação precisa ser vivo.

34

Acho que esse exercício de olhar é um exercício grande para a gente porque quando a

gente está dentro, a gente está só olhando às vezes sobre um aspecto e quando a gente

está fora também né. Quando a gente é um avaliador externo, às vezes você vai e só

olha aquilo. Eu acho que essa coisa do nosso modelo mental que eu falei também

bastante né, eu acho que você olha pelo teu olhar e o teu olhar às vezes é isso, você vê

o pato, o coelho, às vezes tem gente que não vê nem pato e nem coelho, mas vê uma

galinha. Então tudo bem, não era o que tinha, mas esse exercício precisa ser feito e eu

acho que muitas vezes a gente não faz, e aí descontextualiza.

Acho que a avaliação não termina com um relatório, muitas vezes começa né, ainda mais

se ela não foi participativa até então. Se ela foi participativa, ela já começou no próprio

processo de avaliação. Mas eu acho que é preparar a organização para a mudança que

vai ter que ser feita de qualquer maneira, sendo que o mesmo projeto só tendo

acertado, o que nunca acontece, o projeto só tendo errado que também nunca

acontece. Mas se você está avaliando para gerar mudanças, então como é que você

também acolhe e prepara a organização para essas mudanças, porque para mim isso é

um desafio que eu durmo com ele.

Como é que a organização vai abrir espaços de reflexão porque isso é uma mudança de

cultura dentro da organização. Sabemos que mudança de cultura não é fácil, ela não vai

vir rápido, então às vezes demora. Tem organização que às vezes passa por um processo

de formação com a gente e um ano depois fala; “nossa, agora a ficha caiu!”. Então agora

que vem a reflexão que a gente fez lá no primeiro mês da formação vem um ano depois

e é isso, está certo. O processo vai continuando e a avaliação também. Às vezes a gente

aponta um monte de coisa e isso só vai fazer sentido depois de um tempo. Então eu acho

que como é que a gente trabalha com isso, não tem resposta né, mas eu acho que é uma

pergunta para a gente que está nesses processos aí.

Queria falar mais duas coisas, uma da linha de base né, eu concordo, eu acho que a

gente pode construir linha de base no processo e tudo mais. E uma outra coisa, eu acho

que a gente precisa ter cuidado com linha de base. A gente teve duas experiências de

construir linha de base em um programa que é quando a organização está chegando

como é que ela olha a missão e tudo mais, e às vezes ela coloca coisas super positivas

sobre aquilo que a gente vai trabalhar ao longo do ano. Aí quando a gente faz a mesma

avaliação depois de seis meses, os resultados são mais “negativos” do que era no

começo. Na verdade está adiantando porque o olhar dela não era crítico, então ela

achava que, sei lá, uma pergunta, a missão está escrita, todo mundo conhece, então é

um questionário fechado para poder ajudar a gente a tabular. E aí depois ela vê que não,

que ela achava que todo mundo conhecia, mas no processo ela descobriu que as pessoas

não conhecem. Então às vezes a piora é uma melhora. Significa que eu consegui de

alguma forma provocar um olhar mais crítico. Agora como é que você conta isso para o

parceiro que está te financiando depois é que é outro desafio né, que é dizer, então,

35

sabe aquilo que piorou? Melhorou. E aí ele não entende nunca.

Sobre a pergunta feita pelo Carlos, se a gente pensa em processo de formação. Bom, o

FICAS é uma ONG na qual a gente trabalha principalmente com formação e

fortalecimento de outras organizações. E dentro de qualquer processo que a gente faz,

mesmo quando a gente avalia externamente um programa de um instituto, para a gente

o ponto de partida é que o instituto precisa aprender a fazer isso. Porque a gente

acredita que a avaliação é um processo permanente, contínuo, coletivo, que gera

aprendizagem. Então ele não pode depender de um avaliador externo.

Agora esse é outro desafio porque, muitas vezes, o instituto não quer absorver isso. A

gente teve a experiência, passamos três anos com um instituto e o acordo desde o

começo é “a gente vai fazer no primeiro ano isso, isso, isso” e depois “vocês vão

aprender a fazer isso, isso, isso”. Só que eles começam a fazer no segundo ano e se algo

não funciona, dizem que o processo está errado, que não estamos cumprindo com o

acordo. Na verdade estamos, o acordo era que vocês aprendessem a fazer.

Agradeço a oportunidade de estar aqui. Para quem deseja manter conversa, nossos

contatos estão em www.ficas.org.br.

Confira outros materiais do Projeto Avaliação em:

http://institutofonte.org.br/projeto-avaliacao