DIME Impact Evaluation Workshop Innovations for...

DIME Impact Evaluation Workshop

Innovations for Agriculture

16-20 June 2014, Kigali, Rwanda

Impact Evaluation Workshop


16 – 20 June 2014 Kigali, Rwanda

National Agriculture Innovation System Support Project

PERU

Intervention Summary

• Main Components:

1. Strengthening capacity of National Institute of Agricultural Innovation

2. Consolidating markets for innovation services through competitive funds on:

• Adaptive research

• Extension and technical assistance provision

• Community Seed Enterprises

Levels of Evaluation

Competitive funds can be evaluated at 3 levels:

1. What is the impact of having the competitive fund for the sector?*

2. How should the competitive funds be structured?

We focus on:

3. Conditional on how the fund is structured, what is the impact on an applicant of winning the fund?

* NOTE: possibly depending on regional and products eligibility using Difference in Difference, in collaboration with OIA and INEI

Evaluation Design

• All applications are evaluated by an independent panel and receive a score between [0-20].

• Funds are given to applicants above a certain score X

• Impact of funds can be evaluated for applicants around X

• NOTE: – Marginal applicants are the policy relevant group (e.g., if the

program was marginally expanded) – Impact of funds on applicants with low X not relevant – However, difficult to extrapolate to applicants with high X

Evaluation Design

• Choice between two alternative strategies: 1. Regression discontinuity design around X

2. Randomization just below X

• NOTE: – Both strategies identify the same impact

– If feasible, randomization is preferred for: • Statistical reasons,

• Practical reasons: fairness and avoid manipulation

“Tre

atm

ent”

“Co

ntr

ol”

Strategy 1:

Regression Discontinuity Design

Score 0 20

N. of Applicants

X

Ran

do

miz

ed T

reat

me

nt

& C

on

tro

l

Score 0 20

N. of Applicants

X

Strategy 2:

Random Assignment

Sample and data

• Key issues: – Take-up: not all selected applicants might receive funds

(negotiation process)

– Sample size: target is 240 projects funded over 4 years

– Potential Outcomes: Yield, Revenues, Adoption of technology/practices, access to finance and marketing, … • Baseline information can be easily collected as part of the

application form

– Both those receiving funds and those not receiving

funds must be tracked

Timeline

• It is a multi-year program (4 years)

• To reach sample size, must be multi-year evaluation

• To be defined (!): Tentatively – September 2014: set-up admin. data collection

– March 2015: 1st call

– July 2015: 1st batch of funds disbursed

– June 2016: 1st follow-up

– … (process repeat for 4 times)

THANKS !




Mozambique: Sustainable Irrigation Development Project

Antonio Samuel - MINAG

Alexandre Noe - MINAG

Pedro Arlindo - WB

Astrid Zwager - WB

Objectivo do projecto

“Aumentar a produção agrícola comercializada e elevar a produtividade“

1. Irrigação:

– Investimento em sistemas de irrigação e infra-estrutura de apoio

– Desenvolvimento da Capacidade Institucional e da Gestão Participativa na Irrigação

2. Donativo comparticipado para produção orientada para o mercado e desenvolvimento de cadeias de valor.

Objectivo do projecto

“Aumentar a produção agrícola comercializada e elevar a produtividade“

1. Irrigação:

– Investimento em sistemas de irrigação e infra-estrutura de apoio

– Desenvolvimento de Capacidade Institucional e da Gestão Participativa na Irrigação

2. Donativo comparticipado para produção virada para o mercado e desenvolvimento de cadeias de valor.

Contribuição da irrigação

Reduzir a sazonalidade da produção, aumentar a disponibilidade de alimentos e aumentar a produtividade ao longo do ano

Época Chuvosa/quente Época Seca/fria

Março Outubro Abril Setembro

1. Culturas alimentares: Cereais

2. Horticolas

Horticolas

Contribuição da irrigação

Reduzir a sasonalidade da produção, aumentar a disponibilidade de alimentos e aumentar a produtividade ao longo do ano

Época Chuvosa/quente Época Seca/fria

Março Outubro Abril Setembro

1. Culturas alimentares: Cereais

2. Horticolas

Horticolas

Sistemas de irrigação no projecto

Area total Tamanho medio

No. sistemas

Arroz 3,000 ha 120 ha 25

Horticolas 1,300 ha 37 ha 35

Outgrowers 1,200 ha 40 ha 30

Gestão do sistema

Será responsabilidade do grupo de gestão de água:

1. Coleta da taxa de uso

2. Manutenção do sistema

3. Regulação do uso da água

Questões de pesquisa

• A irrigação reduz a sazonalidade e aumenta a produtividade?

– Metodologia não-experimental: pareamento + diferença em diferença

• A monitoria e a assistencia tecnica sobre a gestão e uso de água melhoram o impacto da irrigação?

– Metodologia experimental

Intervenções piloto

Default = Capacitação do grupo em gestão

1. Monitoria individual do uso de água – Colocação de sensores de uso de água em cada

machamba

– Estabelecimento e comparação com uso optimo

2. Tecnico residente – Assistir na gestão do sistema, incluindo uso

individual

Desenho da avaliação

90 sistemas

Gestão de grupo

Gestão de grupo

Técnico residente assiste gestão de grupo

Medidor ao nivel da comunidade

Monitoria individual de uso de água

Monitoria individual de uso de água

Aleatorização com estratificação por linha de negócio

Gestão Monitoria

30

30

30

+

+

Cronograma

Implementação • Inicio da construção de sistemas: Jan 2014 • Inicio da capacitação dos grupos: Junho 2014 • Alocação de tecnicos residentes: 2015 Coleta de dados • Baseline: em curso agora • Monitoria continua do uso de água • Planear segundo inquerito com os agregados

familiares

Obrigado!

Projeto de Irrigação (Sustainable Land & Water Resources Management)

Piloto em 4 distritos de Norte de Gaza, província ao sul de

Moçambique (PPCR)

Eduardo Cuamba

Caio Piza – DIME

Background (1/2)

Objetivo: Aumentar a capacidade de comunidades para enfrentar os

desafios dos impactos adversos das mudanças de clima, pobreza

rural, insegurança alimentar e degradação do ambiente através do:

Melhoramento e desenvolvimento de novas infraestruturas de

água para agricultura e pecuária;

Restauração de Habitats Naturais & Paisagens e ;

Criação da capacidade institucional na gestão dos efeitos das

mudanças Climáticas.

Background (2/2)

• Problemas:

1. Baixa produção e produtividade agrícola e alto risco de perda das culturas devido as condições extremas do clima (cheias e secas);

2. Sobre-exploração do recursos florestais como meio alternavivo para a renda das familias.

• Solução:

1. instalação de infraestrutura de água para agricultura

• O projeto prevê a construção de 360 ha de pequenos sistemas de irrigação – 7 de 10 ha cada a serem construídos este ano + 15 furos de agua

Background (3/3)

• Cada sistema atenderá uma associação de pequenos produtores (cluster)

• Os membros terão de criar um grupo que ficará responsável pela manutenção básica do sistema

• Cada membro terá de contribuir para um fundo – um valor mínimo tem de ser atingido para garantir a manutenção

2. Diversificação dos meios de vida (avicultura e apicultura)

Questões para avaliação

• Analisar o impacto da construção de pequenos sistemas de rega na redução da vulnerabilidade das populações aos efeitos adversos das mudanças do clima;

• Avaliar a sustentabilidade do modelo de gestão dos sistemas de irrigação baseado em incentivo/pré-compromentimento

• Analisar o impacto da diversificação dos meios de vida na redução da pressão sobre os recursos florestais e faunísticos

Tratamentos

• Tratamento 1: Infra-estruturas de agua para agricultura

• Tratamento 2: doação de sementes + poupança (pré-comprometimento) para os que contribuíram caso a meta de arrecadação seja atingida.

• Tratamento 3: doação de sementes para todos os membros que contribuiram caso a meta de arrecadação seja atingida.

Métodos (1/3) • Método não-experimental

– Para estimar o impacto da infraestrutura de água (sistemas de irrigação) sobre os membros será utilizado o método de diferença-em-diferenças com pareamento

• Variáveis de resultado:

1. Primeira ordem: receita e produtividade da terra

2. Segunda ordem: horas trabalhadas dos membros da família; e renda familiar per capita

Métodos (2/3)

• Método experimental: block randomization

– 22 Grupos de produtores (15 furos+ 7 pequenos sistemas de irrigacao) serão estratificado por tipo de sistema e aleatorizadas dentro de cada estrato para receber o tratamento 2 ou 3

• Tratamento 2: – Definição de uma meta de arrecadação que o grupo tem de atingir para

garantir a manutenção do sistema.

– Se o grupo atingir a meta, todos os membros que contribuíram poderão receber sementes para usarem na próxima safra

– Se aceitarem a proposta terão de destinar 50% do valor nominal das sementes doadas a uma conta de poupança que poderá ser utilizada apenas na próxima safra

Métodos (3/3)

• Tratamento 3:

– Se o grupo atingir a meta, todos os membros que contribuiram poderão receber sementes para usarem na próxima safra

• Variáveis de resultado:

• Atingimento da meta • Adesão (take-up) • Uso das sementes • Manutencao do sistema

• Investimento • Demanda por crédito • Produção

Desenho nao-experimental

Tratamento 2: sementes

+ poupança (c=11) Tratamento 3:

sementes (c=11) Tratamento 1: Sistema de irrigação + furos (22 clusters)

Famílias em áreas irrigadas


Comparação

Famílias em áreas não irrigadas

Experimental (block randomization): Tratamento 2 vs. Tratamento 3 = efeito da poupanca obrigatoria.

Não-experimental Famílias em áreas irrigadas vs.famílias em áreas não-irrigadas=> efeito do sistema de irrigação

Desenho experimental

Tratamento 2: sementes

+ poupança (c=11) Tratamento 3:

sementes (c=11) Tratamento 1: Sistema de irrigação + furos (22 clusters)



Comparação

Famílias em áreas não irrigadas

Experimental (block randomization): Tratamento 2 vs. Tratamento 3 = efeito da poupanca obrigatoria.

Não-experimental Famílias em áreas irrigadas vs.famílias em áreas não-irrigadas=> efeito do sistema de irrigação




Baixo Limpopo Irrigation and Climate Resilience Project

Mozambique

Intervention Summary

• Objective: reduce poverty through increases in climate resilient agricultural productivity

• Components

– Improved infrastructure (all-weather roads, irrigation & drainage) for a block of farms covering 2,000 ha

– Market Service Providers (with competition)

– Other (R&D, training, …)

Evaluation Questions

• RQ1: Will farmers’ living standards improve due to the introduction of MSP?

• RQ2: What will be the additional effect of all weather roads?

• RQ3: Do behavioral preferences (risk and ambiguity aversion, locus of control, trust) matter for this impact? And can we change them?

Evaluation Design

• Impact of MSP: Dif-in-Dif using Administrative data (from before) and baseline data (current) to match beneficiaries and other farmers (within irrigation scheme) on their level and growth in production

• Impact of all weather roads: as above, using delay in the implementation of roads

• Behavioral heterogeneity: – Examine correlation between behavioral measures and

benefits (in first year) – If justified, define intervention to change behavioral

measures (during rest of project) – RCT at individual level

Sample and data

• Data

– Administrative data: by farm, data on yields, size, crops cultivated

– Baseline data: all of the above (for matching), behavioral measures, and outcomes (yields, consumption, sales, nutrition, etc.)

– First follow up after one year: as above, plus program participation

– Second follow up after two more years: as above

Timeline

Activity When

MSP Ag 14 – Ag 16

Baseline ASAP

First follow up survey Aug 15

Finish road Nov 15

Implement behavioral

change campaign

End of 15

Second follow up survey Dec 16

Analysis, dissemination May 17

DIME Impact Evaluation Workshop Innovations for...

Documents

Transcript of DIME Impact Evaluation Workshop Innovations for...