Apresentação para o grupo consultivo do PAA África

26 de fevereiro de 2016

Autores: Mario Gyoeri, Claudia Mayara Tufani e Fabio Veras Soares

International Policy Centre for Inclusive Growth, Brasilia

PAA Africa – Monitoramento e AvaliaçãoRelatório de Acompanhamento

EstruturaA.) Monitoramento

1. Sistema de Monitoramento do PAA África2. Exemplo de análise dos dados do monitoramento: Etiópia3. Conclusões da análise preliminar do monitoramento: boas práticas, aprendizados e

recomendações

B.) Avaliação4. Contexto da avaliação do PAA África5. Questões propostas pela avaliação6. Métodos de avaliação

C.) Recomendações para a ampliação do PAA África (M&E)

1.) Sistema de Monitoramento do PAA África

Perguntas de pesquisa a serem exploradas:• Em qual estágio está a implementação do PAA África nos cinco países que fazem

parte do projeto? Em que medida as atividades planejadas foram implementadas e os resultados esperados foram atingidos?

• Quais são os resultados positivos e boas práticas do programa em cada pais que podem ser compartilhadas com outros países? Quais são as dificuldades/gargalos do programa e como eles podem ser solucionados?

• Quais foram as lições aprendidas que podem auxiliar o aperfeiçoamento do programa no futuro?

1.) Sistema de Monitoramento do PAA África

Seleção dos Indicadores de Monitoramento:• Quais são os pontos de referência do monitoramento?

• Documento Guarda-Chuva da 2ª Fase (Umbrella document): objetivos e atividades do PAA África como um todo (5 países)

• Projeto País (Country Project): objetivos e atividades programadas para cada país, levando-se em consideração o contexto particular de cada um.

• Veja Instrumentos de coleta de dados pelo monitoramento

1.) Sistema de Monitoramento do PAA África

Fluxo dos dados de Monitoramento:• O Monitoramento deve basear-se na coleta de dados continua promovida pela

FAO e pelos escritórios nacionais do WFP.

IPC

-IGE

quip

e

Consultores para o Trabalho de Campo PAA Africa

WFPEscritórios Nacionais

Escolas

Cooperativas de Agricultores (dados sobre aquisição de

alimentos)

Governos Regionais / Nacionais

FAOEscritórios Nacionais

Cooperativas de Agricultores (dados sobre insumos e

treinamento)

Governos Regionais / Nacionais

Níger, Etiópia, Moçambique

(2015): Consultores FAO

Senegal, Malawi (2016):

Pesquisadores IPC-IG

1.) Entrega de Produtos e Acompanhamento - Monitoramento5 Relatórios Intermediários de Monitoramento: Objetivo: Informar aos participantes do projeto e aos parceiros para sua execução sobre o progresso da implementação do programaAndamento:

• Níger: Concluído• Etiópia: Primeira versão concluída, aguardando dados dos escritórios nacionais• Moçambique: Coleta de dados concluída; primeira versão a ser finalizada até 14 de março• Senegal: Coleta de dados concluída; primeira versão a ser finalizada até metade de abril• Malawi: Coleta de dados programada para realizar-se de 7 a 18 de março de 2016

1 Relatório Final de Monitoramento• Abrange todos os 5 países e promove a análise do programa como um todo• A ser elaborado após a finalização da fase de consolidação do PAA África, em junho de 2016• Cronograma previsto: versão provisória: 30 julho de 2016; versão final: 30 de setembro de 2016.

2.) Breve Introdução do PAA na Etiópia

• O PAA aconteceu na Região dos Povos e Nações do Sul (Southern Nations, Nationalities and People’s Regions)

• A região é a Terceira maior da Etiópia em termos de população – cerca de 15M pessoas vivem nela

• A capital da Região é Awassa/Hawassa – ela fica situada no nordeste da Região

2.) Breve Introdução do PAA na Etiópia

Estrutura Administrativa no País:

• A Etiópia é dividida em 9 regiões• Cada região é composta de Zonas• Cada Zona é composta de Woredas• Cada Woreda é composta de Kebeles (as kebeles são as menores

unidades administrativas, normalmente compostas por cerca de 3500-4000 pessoas)

2.) Breve Introdução do PAA na Etiópia

Kebeles

Woredas

Zona

Região SNNPR

Sidama

Boricha

?

Dara

?

Siltie

Lanfuro

?

Guraghe

Mareko

?

2) Análise Quantitativa dos Dados Coletados e Ramificações do Projeto

2.A) Apoio à Produção: Suporte aos pequenos agricultores (componente FAO)

2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA)

2.C) Desafios para o Monitoramento: O Link Entre os Dois Componentes do Programa

2.A) Apoio à Produção: Suporte aos agricultores rurais (FAO)

Número de agricultores beneficiados: 2815 (gol: 1800)• Inputs: sementes melhoradas (milho, trigo e feijão)• Cada agricultor recebe 25kg de semente para 0.25 hectares de plantação• Boricha: milho e feijão• Lanfuro e Mareko: trigo• Treinamento

2.A) Apoio à Produção: Suporte aos agricultores rurais (FAO)Quantificando PAA na Etiópia – Fase 2: Domicílios Beneficiados por Gênero e Woreda

2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA)

• Os alunos recebem uma refeição pela manhã, composta de uma mistura de feijão, trigo e milho.

• Número de Escolas Participando no Programa: 7 escolas (em 2 woredas)

Dara Woreda: 4 escolas (Adame Teso, Wata Dara, Safa and Machischo)Boricha Woreda: 3 escolas ( Hanja Chefa, Gassera Kube, Shelo Abore)Número médio de alunos por escola: 1385 estudantesNúmero de estudantes que se beneficiaram do programa: quase 9700 (gol

9274)

• Total de alimentos entregues: 333.45 MT (gol: 355 MT) [1MT=1000kg]

2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA)Quantificando o PAA na Etiópia – Fase 2: Cobertura do Programa como Percentagem de todos Programas de Alimentação Escolar na Região

2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA) Quantificando o PAA na Etiópia – Fase 2: Alimentos Contratados Por Escola e Tipo

2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA) Quantificando o PAA na Etiópia – Fase 2: Gênero dos Alunos Beneficiados

2.C) Desafios para o Monitoramento: Contexto - O link entre o pequeno agricultor e a união cooperativa

2.C) Desafios para o Monitoramento: O Link Entre os Dois Componentes do Programa

3.) Melhores Práticas, Lições Aprendidas e Recomendações

• Em termos gerais, o apoio produtivo e as compras institucionais ocorreram como planejado

• No entanto foram observados diversos desafios na implementação nos países, relacionados particularmente a limitações nas capacidades locais e aos procedimentos internos e regulamentos das agências implementadoras. Alguns exemplos incluem:

Desafios para adquirir e distribuir equipamentos e insumos em tempo hábilNecesidade de adaptar procedimentos de compra de alimentos que reflitam melhor o

calendário agrícola e o contexto de vulnerabilidade dos agricultores familiaresEm alguns paises: dificuldade de cumprir com compromissos contratuais com os

agricultores

3.) Melhores Práticas, Lições Aprendidas e Recomendações

• Sólidas parcerias com os governos nacionais: Etiópia e Senegal

• Etiópia: O governo regional é responsável pela distribuição dos insumos e pelo treinamento de pequenos produtores, bem como pela aquisição de alimentos para o programa de alimentação escolar.

• Senegal: PAA África está previsto para ser ampliado como uma iniciativa do governo, com o suporte técnico da FAO e do WFP. O primeiro ministro validou o programa e o mesmo foi incluído no documento “Plan triennale d’investissement prioritaire” para o período de 2017 a 2019 com um investimento previsto de 44 milhões de dólares estadunidenses.

Passos importantes para alcançar a sustentabilidade do programa

3.) Melhores Práticas, Lições Aprendidas e Recomendações

• Potencial para fortalecer a coordenação e integração de diferentes componentes do programa: Etiópia e Níger

• Etiópia• O monitoramento apontou que houve falhas na coordenação entre: a.) o componente de apoio à produção

agrícola (feito pela FAO) e b.) o componente de compras institucionais (feito pelo WFP);• Não há registro documentado que indique em que medida os agricultores que foram beneficiados com

insumos e treinamentos também tenha participado no programa de compras institucionais. Sendo assim, há dúvidas sobre a real medida da sobreposição das intervenções da FAO e do PMA (apoio em insumos e treinamentos e compras locais) no que diz respeito aos agricultores e cooperativas beneficiadas.

• Níger• A FAO assinou acordos com 10 federações/cooperativas de agricultores para prover insumos e treinamentos,

das quais nem todas foram contempladas pelas compras locais do PMA. O PMA, por sua vez, também adquiriu alimentos de outras federações não apoiadas pela FAO.

• Recomendações: promover a coordenação dos diferentes componentes do programa, fortalecer a sinergia do programa entre os agricultores/produtores & fortalecer o diálogo entre todos os parceiros que implementam o programa.

3.) Melhores Práticas, Lições Aprendidas e Recomendações

• Potencial para o fortalecimento da diversidade nutricional:

• Etiópia:• O programa vem empreendendo esforços para promover maior diversidade nutricional:

promoção do cultivo do feijão através de treinamentos e provisão de insumos. • Contudo, apenas 7.5% do valor total das aquisições foram destinados ao feijão vermelho

(e 3.5% a feijão-fava), enquanto aproximadamente 80% das aquisições foram voltadas a cereais.

• Senegal: até então apenas o cultivo de arroz é promovido pelo programa• Moçambique: modalidade piloto para a produção e compra de hortícolas

Recomendação: considerar mais alternativas para incrementar a diversidade nutricional do programa nos países participantes, levando em consideração as causas estruturais que possam representar obstáculos à diversificação

3.) Melhores Práticas, Lições Aprendidas e Recomendações

• Desafios do Sistema de Monitoramento:

• Foi possível coletar dados para a maioria dos indicadores propostos. No entanto, parte dos indicadores listados nos projetos dos países não foram possíveis de coleta

• Ausência de metas pré-definidas dificultam o monitoramento do programa• Recomendação: desenvolver um sistema de monitoramento que atenda as

especificidades do programa é essencial para uma coleta de dados e informações eficaz para o monitoramento efetivo do programa.

B.) Avaliação

1. Avaliação do PAA África: contexto2. Questões propostas pela avaliação3. Métodos de avaliação

1. Avaliação do PAA África: Contexto • Decisões estratégicas da Coordenação do PAA África:

• PAA África será avaliado em dois dos cinco países participantes do programa: Malaui e Senegal

• Caráter da avaliação: avaliação de processo/resultado• Deverá ser conduzida por uma instituição africana• IPC-IG irá apoiar a Coordenação do PAA África na formulação do Termo de

Referência

• O Planejamento da avaliação começou após o início da implementação do programa Não há uma linha base (baseline) disponível

2. Questões propostas pela avaliação - ExemplosRelevância:

• Os distritos que passam pela intervenção são caracterizados a partir do nível de insegurança alimentar?• Qual era a situação socioeconômica dos agricultores engajados no programa antes da intervenção?

Eficácia:• A iniciativa está estruturada para prover regularmente alimentação escolar para as crianças de escolas

beneficiárias? • A intervenção está bem estruturada para alcançar agricultores familiares, homens e mulheres, e

proporcionar um mercado estável para seus produtos?

Eficiência:• Qual é o custo anual para prover uma refeição por dia para um aluno de uma escola que participe do

PAA África (por beneficiário)?• Quais são os custos anuais para aumentar a produtividade de diferentes cultivos (US dólares

necessários para aumentar a produção em 1 ton/ha?) • De que maneira a eficiência promovida pelo programa se compara com outros programas de

alimentação escolar/ programas de demanda institucional

Sustentabilidade:

• Os governos do Senegal e Malaui estão preparados para manter o programa de alimentação escolar de acordo com as modalidades propostas pelo PAA África, em especial após o final das contribuições de doadores externos?

Resultados:• De que maneira o PAA África impactou as escolas beneficiárias em termos de…

• Matrícula • Frequência• Rendimento escolar

• De que maneira o PAA África impactou os agricultores beneficiários em termos de …• Status socioeconômico• Capacidade produtiva

2. Questões propostas pela avaliação - Exemplos

3. Métodos de AvaliaçãoCombinação de métodos qualitativos e quantitativos:

Métodos Qualitativos:• Discussões em grupos focais em distritos participantes e não-participantes do PAA África :

• Alunos (levando-se em consideração o gênero)• Professoras(es)• Responsáveis pelas crianças (levando-se em consideração o gênero)• Agricultores (levando-se em consideração o gênero)• Habitantes das comunidades onde o PAA está sendo implementado que não

participam do programa

3. Métodos de AvaliaçãoCombinação de métodos qualitativos e quantitativos:

• Entrevistas com atores-chave:• Diretoras(es) de escola• No nível da escola: responsáveis pela área de aquisição de alimentos; coordenador do comitê

de compra de alimentos; coordenador do comitê de alimentação.• Líderes de cooperativas de agricultores• Equipe da FAO responsável pelo treinamento em hortas escolares; Coordenador do comitê de

hortas escolares.• Funcionários do governo envolvidos na coordenação do projeto• Representantes dos governos locais (responsáveis por transferir os recursos para a aquisição de

alimentos para escolas)• Equipe do WFP e da FAO envolvida no gerenciamento do projeto nas áreas de intervenção• Representantes da Sociedade Civil envolvidos no projeto

3. Métodos de Avaliação

Análise Quantitativa

• Dificultada pela falta de uma linha base não há previsão de coleta de dados primários atualmente

• Alternativa: Análise de dados administrativos já existentes, Metodologia de diferenças-em-diferenças (difference in difference)

3. Método de avaliação : Diferenças em diferenças

Taxa de Frequência

Tempo

Grupo de Tratamento

2012 2016

A

B

C

Grupo de Controle

Contrafactual

Efeito do PAA África

C.) Recomendações para a ampliação do PAA África• Monitoramento:

• Definir metas claras (quantitativas) para todas as atividades do programa antes da sua implementação

• Definir indicadores de monitoramento antes do início das intervenções, para que sejam coletados regularmente

• Estabelecer responsabilidades: quem é responsável pela coleta de dados para o monitoramento?

• Avaliação:• Ampliação = oportunidade única para avaliar o impacto do PAA África• Neste contexto: essencial realizar uma pesquisa de linha base (baseline survey) antes da ampliação

do programa• No caso de uma ampliação gradual: considerar uma seleção aleatória dos distritos que receberão a

intervenção primeiro, desde que localizados em áreas prioritárias rigorosa avaliação dos resultados

Obrigado!