Como é que avaliamos intervenções?

Quando não existe alocação aleatória a grupos de tratamento e de comparação

Quando não se pode manipular o processo de seleção

Caso geral

Pessoas, agregados familiares, municípios ou outras entidades são expostos ou não a um “tratamento” ou “política”

Dois grupos não são comparáveis por causa do processo de seleção

Exemplo: Municípios considerados pobres e municípios não-pobres

Quando a randomização não é possível, como é que podemos utilizar as características do programa para “medir” o seu impacto?

Resposta: métodos quasi-experimentaisExemplo: Modelos de Regressão Descontínua (MDRs)

MDR mais próximos das experiências randomizadas do que os outros métodos quasi-experimentais

Depende do conhecimento do processo de seleção dos participantes Necessário saber um critério de seleção quantificável – “uma

pontuação”

Alocação ao “tratamento” depende discontinuadamente desta pontuação Exemplo: Uma política que se aplique a municípios com percentagem

de pessoas abaixo do limiar de pobreza maior ou igual a 50% Um município com percentagem de pobres em 49% não seria tratado,

mas seria muito semelhante a um município com 50% de pobres MDRs compararíam municípios com pobreza exactamente acima e

abaixo da barreira dos 50%

Lei: Idade mínima para beber nos EUA é 21 o consumo de álcool é ilegal para pessoas com menos de 21 anos.Análise:Pessoas com 20 anos, 11 meses e 29 dias Pessoas com 21 anos

Tratadas de uma forma diferente por uma restricção arbitrária (idade) Mas não necessariamente diferentes (probabilidade de irem a festas, obediência, chance de terem comportamentos de risco, etc)

De facto: Esta lei aloca pessoas a grupos de tratamento e comparaçãoGrupo de tratamento: Pessoas com idades entre 20 anos e 11 meses e 20 anos, 11 meses e 29 dias Grupo de controle: Pessoas que tenham acabado de fazer 21 anos e que já podem beber legalmente.Ambos os grupos devem ser semelhantes em termos de características observáveis e não observáveis que afectam os resultados de interesse (taxas de mortalidade)

Desta forma, é possivel isolar o efeito de causalidade do consumo de álcool nas taxas de mortalidade de adultos jovens

Proporção de dias em que (1) bebe ou (2) bebe em grandes quantidades

Taxas de mortalidade por idade

Aumento do consumo de álcoolcausa taxas de mortalidade maiselevadas por volta dos 21 anosMortalidade geral

Mortalidade associada a acidentes, consumo de álcool ou de drogas

Restante mortalidade

• Alocação ao grupo de tratamento depende de uma pontuação ou de um ranking contínuo (ex.: Idade, vendas, resultado num exame, índice de pobreza)• Potenciais beneficiários são ordenados pela pontuação• Limite ou cut-off (ponto de corte) para ser “elegível”

definido claramente ex-ante• Cut-off determina alocação a grupos de tratamento e de

comparação

• Alocação geralmente resulta de decisões administrativas, onde• a participação é limitada devido a restrições orçamentais• regras claras e não arbitrárias são utilizadas para a

participação no programa

• Governo oferece capacitação municipal a municípios com pobreza a 50% ou mais

• Eligibilidade para receber esta capacitação baseada nos últimos dados de pobreza:• Se as a pobreza fôr igual ou superior a 50%, o município

recebe a capacitação• Se a pobreza fôr inferior a 50%, o município não pode

beneficiar da capacitação

• Se os dados de pobreza foram divulgados antes do anúncio da intervenção• não é possível manipular a pobreza reportada• fácil de garantir a utilização da regra

• O que acontece se nem todos os municípios com mais de 50% de pobres aderem ao programa?• Falta de conhecimento da existência do programa (não

sabiam que o programa tinha sido introduzido)• Só os municípios “interessados” aderem• Ambos implicam que haja uma seleção (municípios que

aderem ao programa podem ser diferentes daqueles que não aderem em várias dimensões)

• MAS: A percentagem de participantes altera-se descontinuadamente na fronteira (no ponto de corte), de zero para menos de 100%• Denominado MRD difuso

0.25

.5.75

1tre

atmen

t prob

abilit

y

assignment variable

Sharp Design for Voucher receipt

0.25

.5.75

1

assignment variable

Fuzzy Design for Voucher receipt

100%

0%

75%

0%

Descontinuidade EstanqueA descontinuidade determina, com precisão, a condição de tratamento

▪ Todas as pessoas com 21 ou mais anos, consomem bebidas alcoólicas e mais ninguém o faz

▪ Todas os municípios com mais de 50% de pobreza recebem apoio e municípios com menor pobreza não o recebem

Descontinuidade Difusa A percentagem de participantes muda de forma descontínua no cut-off, mas não de zero para 100% (ou de 100% para 0%)

▪ Algumas pessoas mais novas que 21 consomem bebidas álcoolicas e algumas com mais de 21 não consomem bebidas álcoolicas

▪ Regra determina eligibilidade, mas entre os municípios com mais de 50% de pobreza há apenas adesão parcial

Ideia geral: Se o ponto de corte é arbitrario, as pessoas exactamente à

esquerda e à direita desse ponto devem ser semelhantes Diferenças nos resultados podem ser atribuídos à política

Principal condição Nada mais acontece: na ausência da política, não

observaríamos a discontinuidade nos resultados à volta deste limite em particular

Pode não ser o caso se▪ Regra do uso de capacete para motorizadas também se aplica aos 21

anos▪ Outra medida oferece equipamento social a municípios com

pobreza superior a 50%

outco

me

assignment variable

Baseline

assignment variable

Follow-up

Forma diferente

Serão os resultados generalizáveis para além destes dois grupos que estamos a comparar?

Contrafatual em MRD Indivíduos marginalmente excluídos dos benefícios Exemplos: pessoas com menos de 21 mas com mais de 20

anos e 10 meses; municípios com pobreza entre 45 e 50% As conclusões de causalidade são limitadas às pessoas,

lares, municípios, no ponto de corte O impacto estimado é para individuos marginalmente ou por

pouco elegíveis para participarem no programa A extrapolação além deste ponto supõe premissas adicionais,

geralmente não garantidas (ou diversos pontos de corte) Modelos difusos aumentam o problema

Maiores vantagens dos MRD Transparência Possibilidade de ilustrar a situação atraves do uso de gráficos

Maiores desvantagens dos MRD Necessário que haja muitas observações à volta do cut-off Todas as observações longe da fronteira devem ter menos

importância Porquê?

▪ Apenas perto do cut-off, podemos assumir que é por acaso que as pessoasestão à esquerda ou à direita

▪ Ou uma pessoa com 16 anos versus outra com 25▪ Por exemplo um município com pobreza em 50% versus um com 5%

MRD são intrumentos úteis para identificar o efeito de causalidade Vantagens

▪ MRD partilham as mesmas propriedades de uma experiência no local do ponto de corte

▪ Podem ser utilizados para avaliar intervenções ex-post tratando os pontos de corte como “experiências naturais” (com propriedades próximas de uma experiência)

Desvantagens▪ Os efeitos estimados do programa são apenas representativos das

pessoas/empresas perto do ponto de corte▪ MRDs necessitam de amostras muito grandes▪ Pessoas/empresas podem ajustar o seu comportamento em anos

subsequente em resposta ao limite▪ Exemplo: Deixar de reportar pobreza abaixo dos 50%

Pode ser usado para desenhar uma avaliação prospectiva quando a randomização não for possível O design aplica-se a todos os programas avaliados por

médias Diversos pontos de corte para melhorar a validade externa

Pode ser usado para avaliar intervenções ex-post usando as descontinuidades como “experiências naturais”.

20