La valutazione degli eventi culturali:valutazione ex post
Giancarlo Vecchi
0
1
• LE DUE LEGGI DELLA VALUTAZIONE EX POST:
• 1a Legge: Tutti gli interventi collegati ad una politica pubblica ottengono i risultati pianificati – se la valutazione ex post è realizzata dai soggetti attuatori o da soggetti a questi collegati
• 2a Legge: Nessun intervento di policy raggiunge i risultati attesi – se la valutazione ex post è realizzata da terze parti indipendenti, specie composte da soggetti scettici in partenza sull’opportunità della policy
•
0. INCIPIT
1. Definizione di politica pubblica (programma, progetto)
2
• Nella valutazione delle politiche pubbliche l’unità di analisi (= ciò su cui si esprime il giudizio) NON è una organizzazione, ma – appunto – una politica pubblica (un programma, un progetto.
• UNA POLITICA PUBBLICA E’ L’INSIEME DELLE IDEE E DELLE AZIONI INTENZIONALI COMPIUTE DA UNA PLURALITA’ DI SOGGETTI (GLI ATTORI) – PUBBLICI E/O PRIVATI – CORRELATE AL TRATTAMENTO DI UN PROBLEMA COLLETTIVO, E CIOE’ UN BISOGNO, UNA DOMANDA, UN’OPPORTUNITA’ INSODDISFATTI CHE SIANO CONSIDERATI DI INTERESSE PUBBLICO
(W. Dunn, Public Policy Analysis, Prentice Hall, 1998)
• L’ipotesi è che una politica sia disegnata e attuata per ottenere la modificazione di una condizione indesiderata/insoddisfacente, e come tale incorpori sempre una “teoria del cambiamento”
Tipi di valutazione e ciclo di una politica pubblica
3
4
In questa lezione ci occupiamo di VALUTAZIONE EX-POST!
Valutazione ex-post: l’oggetto della lezione
DEFINIZIONE DI VALUTAZIONE EX POST
• “La valutazione ex post è definibile come l’analisi sistematica delle operazioni e/o degli outcomes (esiti) di un programma o di una policy, attraverso una comparazione con standards impliciti ed espliciti, al fine di aiutare il miglioramento di questo programma o policy”
(Carol Weiss, Evaluation, 1972)
5
CAUSALITA’
• Principio essenziale di ogni valutazione ex post delle politiche pubbliche, in senso tecnico, è la relazione di causalità che si suppone esista tra le azioni e i risultati osservati ex post.
• In altre parole, il giudizio positivo è appropriato se i risultati sono influenzati, perlomeno in maggiore misura, dalle azioni valutate e non da altri fattori
• In ogni caso, nel giudizio devo tenere presente il ruolo di eventi esterni alle azioni valutate
6
2. PRIMO APPROCCIO: VALUTAZIONE GUIDATA DALLA TEORIA (CONTRIBUTION ANALYSIS)
• I disegni che si richiamano alla valutazione guidata dalla teoria (theory-driven evaluation) mirano a ricostruire i processi causali che legano gli outcome (che vengono, quindi, misurati anche mediante disegni VIC, o altre modalità) con le fasi di attuazione e il progetto di intervento (disegno di policy).
• Questa analisi viene confrontata con le teorie esplicite o implicite sulla cui base una policy è stata costruita e attuata.
• Si tratta, cioè, di aprire la blackbox che sta alle spalle degli outcome.
7
8Giancarlo Vecchi
• Teoria: set di assunti sulla base dei quali una policy
raggiungerà gli obiettivi, considerate determinate
condizioni.
• La tecnica di ricostruzione fa riferimento al metodo
“process tracing”: si basa sulla elaborazione di una
narrativa che delinea e compara in modo sistematico la
sequenza di eventi che caratterizzano un processo di
disegno e attuazione di una policy. Le catene causali sono
rappresentate graficamente come mappe causali.
.
9
• “
•
.
10
• La figura nella slide precedente mostra due modalità di rappresentazione di un intervento di miglioramento della salute attraverso l’assunzione di frutta fresca.
• Il primo diagramma di flusso (pipeline) mostra il modello logico dell’intervento in termini di catena input-output-outcome.
• Il secondo diagramma (outcome chain) si focalizza sul cambiamento comportamentale indotto dall’intervento in termini di migliore accesso alla frutta fresca, che si traduce in miglioramento della salute.
.
11
Questa modalità, che può essere sviluppata con modelli più complessi, permette di:
a) Articolare gli outcome in una catena, considerando outcome intermedi e outcome finali
b) Spiegare i fallimenti in termini di fasi dell’attuazione non realizzati correttamente, carenze del disegno di policy, carenze del modello teorico utilizzato
c) Spiegare i successi e i successi parziali in termini di: per chi la policy ha funzionato e per chi non ha funzionato
d) Favorire riflessioni sulla trasferibilità della policy
(cfr. Sue Funnel and Patricia Rogers, Purposeful Program Theory)
.
12
outputs(beni e servizi prodotti)
attività(come il programma attua il
disegno)
Outcomes Intermedi(benefici e cambiamenti attribuibili agli outputs)
Outcomes finali (impatti)(conseguenze finali o di lungo
termine)
Esempinegoziare, consultare, ispezionare, drafrting legislativo
Esempicontrolli effettuati, avvisi e pareri, beneficiari gestiti, informazioni erogate, report prodotti, progetti, realizzazioni
EsempiSoddisfazione degli utilizzatori, posti di lavoro trovati/creati, pratiche illegali bloccate, migliori decisioni prese
EsempiMiglioramento ambientale, migliore economia, strade più sicure, energia risparmiata, …
Outcomes immediati(il primo livello di outcomes
prodotti dagli output)
EsempiAzioni intraprese dai beneficiari, comportamenti modificati
Una catena dei risultati
Fattori Esterni
Da: John Mayne
13
Outputs(beni e servizi prodotti)
)
attività(come il programma attua il
disegno)
Outcomes intermedi(benefici e cambiamenti attribuibili agli outputs)
Outcomes finali(conseguenze finali o di lungo
termine)
Examplesnegoziare, consultare, ispezionare, drafrting legislativo
Examplescontrolli effettuati, avvisi e pareri, beneficiari gestiti, informazioni erogate, report prodotti, progetti, realizzazioni
ExamplesSoddisfazione degli utilizzatori, posti di lavoro trovati/creati, pratiche illegali bloccate, migliori decisioni prese
ExamplesMiglioramento ambientale, migliore economia, strade più sicure, energia risparmiata, …
Outcomes immediati(il primo livello di outcomes
prodotti dagli output)
ExamplesAzioni intraprese dai beneficiari, comportamenti modificati
Perchè emergono
questi risultati
immediati?
Collegamenti entro la catena dei risultati
FattoriEsterni
14
Teoria del cambiamento
a) Catena dei risultati con gli assunti presi in
considerazione, con identificazione dei rischi e altri
fattori esplicativi
b) Una spiegazione di ciò che dovrebbe accadere perchè
questa catena funzioni (produca i risultati attesi)
Riduzione dei fumatori
Campagna anti-fumo
Assunti: target raggiunto, messaggi letti/ascoltati, messaggi convincenti, nessuna altra influenza significativa presente
Rischi: target non raggiunto, messaggi poveri, forte pressione del contesto a continuare a fumare
Altri Fattori Esplicativi: riduzione della propensione al fumo dovuta a trend di disincentivazione, all’aumento dei prezzi delle sigarette, …
15
Una teoria generale del cambiamento
Attività e outputs
Target &
Reazioni
Effetti inattesi
Cambiamenti nelle
conoscenze, attitudini,
capacità, nelle opportunità e
negli incentivi
Effetti inattesi
Cambiamenti nei
comportamenti
Effetti inattesi
Results Finali Theory of
Change
Effetti inattesi
Assunti: quanto ci si aspetta che I cambaimenti nei
comportamenti del target group influenzi I risultati
desiderati? Cosa deve accadere? Quali fattori influenzano
questo processo?
Rischi: Rischio che non vi sia collegamento
Altri Fattori Esplicativi: Fattori socio-economici
Assunti: Quanto i cambiamenti nelle conoscenze,
competenze, attitudini, opportunità e/o incentivi
How are changes in knowledge, attitudes, skills, ci si aspetta
che cambino i comportamenti? Cosa deve accadere? Quali
fattori influenzano questo processo?
Rischi: Rischio che questo collegamento non accada
Altri Fattori Esplicativi: Pressione del contesto (amici, ecc.),
altri interventi
Assunti: In che misura ci si aspetta che l’intervento aumenti
le conoscenze, migliori le attitudini., le competenze e
capacità, le opportunità e/o gli incentivi? Cosa deve
accadere? Quali fattori influenzano questo processo?
Rischi: Rischio che il collegamento non avvenga
Altri Fattori Esplicativi: altri interventi; auto-apprendimento
Assunti: come e in che misura ci si aspetta che gli output
raggiungano il target group? Cosa deve accadere? Quali
fattori del contesto influenzano il processo?
Rischi: Rischio che il collegamento non avvenga
Assunti: quali fattori esterni
possono aver influenzato la
realizzazione degli interventi
previsti dalla TdC della policy?
Rischi: I rischi associati alle ‘frecce’ non si sono manifestati nel
modo atteso
Altri Fattori Esplicativi: Fattori
socio-economici;
Influenza di altri interventi
Influenze esterne
16
• La contribution analysis cerca di rispondere alla domanda su quanto degli outcome osservati sia da attribuire alla policy, e non ad altri fattori, quando non sia possibile fare ricorso a disegni basati sul controfattuale.
• In sostanza si tratta di indagare se la policy abbia provocato una differenza rispetto alla situazione di partenza.
• L’inferenza causale è dimostrata attraverso un procedimento che prevede 6 step:
Contribution analysis
17
1. Definire il problema di attribuzione: qual è il problema che la policy doveva modificare? Quali outcome sono attesi dall’attuazione della policy? Quali outcome osservati sono attribuibili alla policy
2. Che legami di causa-effetto collegano gli outcome osservati con la policy? In altre parole, qual è la teoria che li giustifica? In che estensione la policy dovrebbe provocare il cambiamento nel problema? E’ ragionevole concludere che la policy ha provocato un cambiamento?
3. Raccogliere evidenze a sostegno della teoria su cui si basa la policy. Quali prove sono necessarie per confermare che la teoria è stata attuata ed ha funzionato?
I sei step della contribution analysis
18
1. Elaborare una narrazione attraverso cui esprimere giudizi sulle prove raccolte. Quali sono la natura e l’estensione dei contributi attesi dalla policy? Cosa dimostra che la policy abbia fornito questi contributi? Quali evidenze sono accettabili? Individuare altri possibili fattori che possono aver influenzato gli outcome osservati. Quali sfide sono poste al possibile contributo della policy dalla presenza di altri fattori (diversi dalla policy) che possono aver influenzato gli outcome?
2. Ricercare evidenze ulteriori
3. Revisionare e rafforzare la narrazione
(cfr. John Mayne, Contribution Analysis)
(continua: i 6 step della contribution analysis)
19
Valutazione realistica: introduzione
• La ‘valutazione realistica’ assume gran parte delle argomentazioni e delle tecniche della valutazione guidata dalla teoria, ma si concentra in particolare nella individuazione dei ‘meccanismi’ che legano le cause agli effetti osservati.
• Anche in questo caso si parte dalla teoria alla base di una policy, si studiano gli outcome (attraverso vari disegni, qualitativi e quantitativi) e, a ritroso, si cerca di ‘spiegare’ cosa ‘ha trasformato’ la causa in effetto e in particolare:
Cosa funziona per chi e in quali circostanze?
(cfr. Ray Pawson & Nick Tilley, Realistic Evaluation, London, Sage, 1997)
20
Caratteristiche delle politiche pubbliche secondo questo approccio
• Le politiche pubbliche (“social programming”, termine distinto dagli esperimenti delle scienze naturali) sono
congetture basate su una teoria del cambiamento.
• Hanno alla base l’identificazione di una regolarità (R1) considerata come rappresentativa di un problema
sociale e si propone il compito di modificare il modello di
comportamento in questione raggiungendo un livello più
accettabile (R2).
21
• Le policy iniziano nelle teste dei policy designers, passano nelle mani dei professionistidell’implementazione, e – qualche volta – nelle teste e nei cuori dei destinatari.
• Queste congetture si basano sull’idea che l’esistenza di condizioni indesiderate sia conseguenza di comportamenti inappropriati, oppure di eventidiscriminatori, ineguaglianze, e procede indagando sucome questi pattern possano essere modificati
• ESEMPI:
- riduzione dei tassi di criminalità
- riduzione dei tassi di disoccupazione
- aumento dell’interesse per arte e cultura in generale
- aumento delle aree tutelate
.
Si consideri il diagramma seguente, dove:
• t1 descrive la regolarita’ prima,
• e t2 dopo, l’intervento di policy.
• L’outcome descrive il livello di cambiamento nel tempo:
r2-r1
22
-
Ck
T1 T2
C1
C2
Outcome
M1
R1
M1
M2
R2
Valutazione realistica
Meccanismo, Contesto, Outcomes
The same programme mechanism will have
different outcomes in different contexts
Don’t ask ‘what works?’
Rather, investigate: ‘what works for whom in what circumstances?’
24
• Per ottenere l’obiettivo della spiegazione degli outcomes, il valutatore deve conoscere il set di meccanismi (m1)
che sostengono il “funzionamento” delle regolarita’connesse al problema iniziale.
Ad esempio:
- le capacita’ e le scelte che conducono un ladro a commettere un reato;
- le capacita’ e le scelte che conducono al fallimento di un quartiere nel combattere i ladri.
In questa direzione, un obiettivo chiave del valutatore e’quello di identificare il potenziale di cambiamento dei
meccanismi innescati dalla politica (m2):
.
25
• Non e’ la politica che “funziona” ma la sua abilita’ a spezzare la catena esistente di risorse e ragionamenti che sostengono una situazione-problema.
ASSIOMA
La ricerca valutativa deve rispondere ad una domanda:
• quali sono i meccanismi innescati dalla policy che possono condurre ad un cambiamento e come questi possono contrastare i processi sociali esistenti?
.
26
Meccanismi
• uno dei principali strumenti della spiegazione realistica e’ la nozione di meccanismo esplicativo.
• i meccanismi riguardano le scelte (ragionamenti) e le capacita’ degli attori che questi derivano dall’appartenenza a gruppi.
• La nozione di “meccanismo di policy” conduce il ricercatore a chiedersi e a comprendere non solo se una politica funziona (se ha successo) ma anche cosa permette ad una politica di funzionare.
.
27
• Un meccanismo è la una spiegazione del comportamento e delle interazioni tra soggetti che sono responsabili della regolarità di un fenomeno – del persistere di una situazione-problema.
• Un meccanismo è perciò esso stesso una teoria – una teoria che descrive il potenziale delle risorse e del ragionamento degli attori: le politiche pubbliche operano sempre attraverso l’azione di meccanismi, e cioe’mediante processi attraverso cui gli attori percepiscono risorse mobilitabili e nello stesso tempo formulano idee e ragionamento sull’opportunita’ di scelte.
.
28
• In termini di ricerca, cio’ significa che dobbiamo individuare il range di meccanismi che sostengono il problema originario (la regolarita’ dei fenomeni-problema) cosi’ come il range di meccanismi innescati attraverso la policy e quindi andare alla ricerca del matching:
• in breve, il progresso nella ricerca e nelle politiche pubbliche dipende dalla capacita’ di dimostrare quali meccanismi-problema sono stati superati e disinnescati da quali meccanismi di sblocco
.
29
MODELLI DI RISULTATO
• I modelli di risultato comprendono gli effetti voluti e non-voluti dei programmi, risultanti dall’attivazione di diversi meccanismi in diversi contesti.
• Il realismo non si affida alla misurazione di un singolo risultato per emettere un verdetto di successo o insuccesso di un programma. I modelli di risultato possono assumere diverse forme ed i programmi possono essere testati rispetto a una serie di prodotti e risultati.
• Per esempio, si può ipotizzare che l’installazione di telecamere a circuito chiuso (CCTV) aumenti il numero di auto parcheggiate e che ciò sia di preludio (e potenziale causa di) a un calo del tasso di criminalità nei parcheggi.
.
30
• La ricerca dei modelli di risultato considera dunque l’implementazione delle variazioni, le variazioni di impatto, variazioni nei sotto-gruppi socio-demografici, temporanee variazioni di risultato, variazioni di risultati connessi ad attributi personali, variazioni dei risultati di tipo biologico e così via.
• Un esempio di numerosità della lista di risultati di un intervento: nel valutare, per esempio, l’efficacia della libera distribuzione di allarmi anti-incendio, è utile analizzare quanti di essi sono stati installati in maniera appropriata e non solo tenere conto di risultati quali la mancanza di morti o casi di lesioni provocate da incendio.
.
31
Contesto
• le politiche e i cambiamenti ipotizzati da queste sono realizzati in contesti specifici.
• Le condizioni di contesto costituiscono un elemento cruciale per la spiegazione realistica, poichè le preferenze culturali e l’organizzazione sociale di un luogo possono influenzare fortemente il funzionamento di una politica.
5.25
32
• La ricerca valutativa deve essere impostata su ipotesi in grado di identificare, articolare, testare e rifinire le congetture relative alle configurazioni di
• “CMO” = contesto-meccanismi-outcome che caratterizza le politiche attuate in determinati luoghi
Ciò conduce in fase ex ante:
• alla formulazione della teoria della policy,
e in fase ex post:
• alla identificazione della teoria che lega meccanismi ed esiti nell’ambito di specifici contesti
.
33
• Le “scoperte” della valutazione realistica riguardano sempre la configurazione di caratteristiche necessarie per sostenere un programma.
• Per esempio, operazioni di marcatura di beni di proprietà sono molto utili nel ridurre il numero di furti con scasso, se il livello di beni di proprietà segnati è alto, in particolare in tutti i casi in cui i reati sono concentrati in piccole e ben definite comunità fornendo l’occasione, in tal modo, di seguire le tracce dei beni rubati, con concomitante pubblicità persuasiva che dimostri l’alto rischio di essere presi e in un breve lasso di tempo.
.
34
Esempio: formazione per la riabilitazione di detenuti
• Avvio dell’analisi: intervistare i professionisti/practitioners per identificare la teoria in uso
• “La persona che è più probabile che migliori si può descrivere come ‘mediocre’. Non funziona con chi ha volato alto… E’ probabile che provengano da situazioni di povertà, senza educazione. E così sono diventati criminali mediocri: droga, piccole rapine a mano armata, o qualcosa del genere. Quelli di loro che sono sopravvissuti al primo semestre di formazione, gradualmente sono migliorati. E alla fine hanno intrapreso effettivamente una strada positiva. Non è corretto parlare di ri-abilitazione, ma piuttosto di abilitazione.”
•Policy- educazione di detenuti (ED)
•(M1) ED può fornire una qualifica per permettere di
competere per impieghi esterni
•(M2) ED può aumentare l’autostima e fornire
competenze che riducono l’aggressività
•(M3) ED può aumentare le capacità cognitive e
aiutarli a riflettere sulle loro difficoltà
•(M4) ED può aumentare le capacità cognitive e di
rappresentazione e abilitarli a diventare criminali di
livello
•(M5) ED può fornire una risorse per affrontare la
cultura di violenza presente nelle carceri
•M6, M7, M8, etc. etc.
Ipotesi di meccanismi generativi
Come i beneficiari interpretano il programma e agiscono di
conseguenza
I ‘contesti’ sono un set di condizioni sottostanti che
favoriscono o inibiscono l’azione dei meccanismi
•EP – per ‘chi’ e in quali ‘circostanze’
•(C1) esperienza precedente - povertà, droghe,
violenza, etc.
•(C2) educazione precedente
•(C3) attività criminali precedenti
•(C4) culture della prigione
•(C5) cultura del quartiere, cultura locale
•(C6) struttura economica
•C7, C8, C9 etc. etc.
Ipotesi relative ai contesti
Le policy sono sempre complesse. Necessario esaminare gli outcome
per differenti sotto-gruppi di soggetti
•Per chi ha funzionato meglio?
•Miglioramento della riabilitazione per età
•17-21 22-25 26-30 31-35 36over
• 1° 4° 5° 2° 3°
•Miglioramento rispetto ad educaz.
precedente
•S. Media Scuola sec. Diploma Post-Secondaria
• 2° 1° 3° 4°
Spiegare i pattern di risultato
38Giancarlo Vecchi
• Quale sottogruppo ha beneficiato di più della policy?
• Note everything else is held statistically constant - groups
experience the same programme and the benefit is
measured against the standard reconviction rate
(reoffences) for that group.
• Spiegazione esempio 1
• I migliori sono i ‘ protetti’ (i più giovani) e quelli ‘ultima
chance realistica’. I perdenti sono‘giovani furiosi’
• Spiegazione esempio 2:
• I vincitori sono I ‘deprivati nell’educazione’. I perdenti sono
quelli che ‘volano alto’.
. Risultati di un programma canadese
39
Questo approccio raggruppa disegni di ricerca orientati principalmente a stabilire se una policy produce gli outcomes attesi su alcune dimensioni di interesse pre-stabilite (e cioè su bisogni/domande uno o più specifici target-groups). L’obiettivo principale è quello di rispondere alla domanda:
“La policy ha fatto una differenza, ha causato un cambiamento?”
E questo avviene attraverso la stima degli effetti causali attraverso METODI CONTROFATTUALI, per i quali si utilizza anche, sinteticamente, la terminologia: Valutazione di impatto (d’ora in poi: VIC, valutazione di impatto controfattuale)
Counterfactual Impact Evaluation (CIE)
(Controfattuale = ciò che sarebbe accaduto in assenza della policy)
3. SECONDO APPROCCIO:
Approccio controfattuale alla valutazione ex post (=
Valutazione di impatto)
40
• La domanda centrale della VIC è: quanto della differenza
riscontrata ex post è causata dal trattamento (la policy)
• Produce numeri attraverso cui si calcolano differenze,
attraverso cui è possibile fornire interpretazioni causali
plausibili basate sull’evidenza empirica (e alcuni assunti di
fondo).
usi della statistica, quindi necessita di un certo numero di
osservazioni (per ottenere dati significativi)
produce risultati medi (differenze medie)
.
41
• La domanda può essere formulata in questi termini:
• La differenza (o le differenze) osservata dopo l’attuazione della policy è causata dall’intervento stesso, oppure da qualcos’altro? Cosa avremmo osservato senza l’intervento?
.
42
I disegni di ricerca basati sulla VIC richiedono:
• Il calcolo della differenza tra gli outcome della policy e quelli della situazione senza policy per la stessa unità di rilevazione (individui, imprese, territori)
• Problema: individui, imprese, territori… hanno una sola esistenza, non esistono (perlomeno non conosciamo…) mondi paralleli
• Qui si pone il problema dell’inferenza causale e della stima del controfattuale
Effetti e impatti possono essere studiati mediante un procedimento di inferenza (stima): attraverso misurazioni e dati che permettano di approssimare in modo convincente la situazione controfattuale
VIC: Cosa serve?
43
Perché non comparare le unità oggetto di intervento, prima e dopo il trattamento?
Problema: il cambiamento osservato potrebbe essere dovuto sia alla policy sia ad altre variabili che sono intervenute nello stesso periodo.Ad es.: fenomeni di ‘maturazione’ (es. età), evoluzione naturale, possono influenzare la condizione osservata indipendentemente dalla policy: questa modalità non rivela, quindi, gli effetti netti degli interventi.
C’è bisogno di un ‘gruppo di controllo’ o ‘gruppo di comparazione’ per poter attribuire tutti i cambiamenti alla policy.
Disegno Before and After
Comparare le unità trattate ‘prima’ e ‘dopo’
Pre-test Observations
Pre-test Observations
Intervention Post-test Observations
Post-test Observations
Experimental group/s Ot-1 Ot X Ot+1 Ot+2
44
• Necessità, quindi, di avere gruppi di unità (sottoposti a trattamento vs controllo) che siamo il più possibile identiche in termini di caratteristiche osservabili e non osservabili annulla il ‘selection bias’, la distorsione da selezione attraverso la selezione ‘casuale’, la cd, randomizzazione.
• Implica un processo ex ante di selezione e attribuzione ai due gruppi la valutazione deve essere parte del processo di attuazione (cfr. i randomized controlled trials in chimica/medicina)
•
Il disegno ideale: disegno sperimentale ‘vero’
Pre-test Observations
Pre-test Observations
Intervention Post-test Observations
Post-test Observations
Experimental group/s Ot-1 Ot X Ot+1 Ot+2
Control group/s Ot-1 Ot Ot+1 Ot+2
Giancarlo Vecchi45
C
B
A
tempo
A
T-K T intervento
impatto
netto
dinamica
autonoma
(positiva)
Figura 2: Misura del risultato - impatto netto
Fonte: Martini, 1997
.
Giancarlo Vecchi46
B
C
A
tempo
A
dinamica
autonoma
(negativa)
impatto
netto
T-K intervento
T
Figura 3: Misura del risultato - impatto netto
Fonte: Martini, 1997
.
47
.
48
.
49
.
50
• Spesso non è possibile selezionare in modo randomizzato le unità da allocare ai due gruppi, quello/i sottoposto a trattamento e quello/i di controllo.
• Si utilizzano allo strategie che cercano di approssimare la randomizzazione.
•
. Disegni quasi-sperimentali
Pre-test Observations
Pre-test Observations
Intervention Post-test Observations
Post-test Observations
Experimental group/s Ot-1 Ot X Ot+1 Ot+2
Control group/s Ot-1 Ot Ot+1 Ot+2
51
• Le Interrupted Time Series (serie temporali interrotte) sono un caso specifico di ‘discontinuity design’.
• Se attorno ad una determinata soglia temporale, in particolare quella che segnala l’attuazione del trattamento (es: l’entrata in vigore di una legge, oppure l’entrata a regime di un intervento, ecc.), si evidenza un forte cambiamento nella misura di outcome, questa può essere considerata una evidenza plausibile dell’efficacia della policy.
•
Serie temporali interrotte
52
• “
•
.
53
•
•
Valutazione e suo utilizzo
54
• “
•
55
• “
•
Top Related