Strumenti per la valutazione: l’analisi controfattuale nell’esperienza della Regione

Lombardia Andrea Naldini and Marco Pompili

NETWORK FOR THE BETTER FUTURE OF THE SOCIAL ECONOMY

 Milano, 5 Dicembre 2011

Introduzione

• Intervento Ismeri Europa: spunti di riflessione sulla valutazione delle politiche sociali– 1) Esperienza della Dote FL Lombardia: metodologie di analisi  estendibili alla Dote lavoro disabili

– 2) Brevi cenni e risultati preliminari sulla valutazione di Jeremie a supporto delle cooperative sociali (in corso)

2

3

L’esperienza della Dote in Lombardia

Background

• Dal 2008 la dote costituisce il principale strumento della Regione Lombardia di politiche attive del lavoro

• La Dote, finanziando la domanda, ha l’obiettivo di responsabilizzare gli individui beneficiari e migliorare la qualità dei servizi offerti loro (workfare approach)

• Gli operatori pubblici e privati sono “competitors” nel quasi-mercato della Dote

• 3.752 interventi di Dote formazione e lavoro conclusi a Febbraio 2010

• Aspettative elevate tra gli attori sul funzionamento e gli effetti

4

Le domande di valutazione

• Funzionamento e qualità della Dote• Impatto occupazionale  -  Si evidenziano differenze nei tassi di occupazione tra percettori Dote e non percettori dote? 

....ma anche:• Impatto in termini di empowerment dei soggetti- Si riscontrano impatti sull’attivazione dei soggetti partecipanti alla dote rispetto ai non partecipanti?

5

Metodologia: composita ed integrata

• Analisi qualitative per comprendere il funzionamento e la qualità dei servizi erogati (Rapporto 2009)

• Rapporto 2010 (questa presentazione):– Survey presso i beneficiari e non della Dote per comprendere percorsi verso l’occupazione, contenuti attività realizzate, attivazione 

– Integrazione banche dati (vedi dopo)– Stima impatto controfattuale (tecniche di matching) sull’occupazione e l’empowerment dei destinatari 

6

Integrazione tra fonti di informazioni

• Dati amministrativi Regione Lombardia (informazioni sui richiedenti la Dote)  utili per il campionamento

• Dati amministrativi dei CPI (informazioni su carriere lavorative dei trattati e non trattati con la Dote: ma 30% dei trattati non coperti)  utili per verificare i risultati della survey e per ricostruire i tempi di inserimento

• Indagine diretta (condizioni occupazionali di persone trattate e non trattate, soddisfazione, qualità del lavoro trovato...) 

•  Le tre risorse sono state integrate in un dataset unico

7

Risultati generali

• 43,5% dei beneficiari della Dote hanno un lavoro dopo 8-10 mesi e il 60% hanno avuto almeno una esperienza dopo la Dote;

• Gli impatti netti sull’occupazione sono positivi solo per la Dote Lavoro (bassa significatività statistica)

• Gli impatti netti sull’attivazione dei soggetti è statisticamente significativa e positiva (7%-8%)

• L’82% dei beneficiari hanno cercato attivamente lavoro dopo la Dote (effetti di scoraggiamento limitati, intorno al 5%)

• Più che l’80% degli intervistati sono soddisfati e ripeterebbero l’esperienza. L’aspetto da migliorare è relativo all’assistenza post Dote nella ricerca del lavoro

8

Risultati dell’analisi di impatto: propensity score

9

Treated Not treated

Differences in terms of probability to be

employedStd.err t Methods of

matching

865 175 -0.104 0.048 -2.154 Nearest neighbour

774 188 -0.040 0.048 -0.831 Radius(0.05)865 191 -0.022 0.039 -0.572 Kernel

matching865 191 -0.019 0.043 -0.439 Stratification

Probabilità di essere occupato

Treated Not treated

Differences in the probability to be inactive and not

searching for a jobStd.err t Methods of

matching

865 175 -0.077 0.039 -1.963 Nearest

neighbor865 188 -0.081 0.034 -2.365 Radius(0.05)

865 191 -0.082 0.034 -2.388 Kernel matching

865 191 -0.081 0.037 -2.213 Stratification

Probabilità di essere inattivo

Principali messaggi

• La performance della Dote è in linea conq uella di alri strumenti simili e conferma l’importanza e l’efficacia di promuovere servizi individualizzati

• Una metodologia simile può essere estesa alla dote lavoro disabili (la dote lavoro per persone con disabilità psichica è uno degli strumenti di valorizzazione dell’economia sociale lombarda)

maggiore enfasi sui percorsi di attivazione del soggetto

maggiore attenzione alla qualità dell’ambiente di lavoro

10

11

L’esperienza del Fondo Jeremie in Lombardia – brevi cenni

(in fase di ultimazione)

Jeremie per le cooperative sociali Background

• Operativo dal 2009 (citato in un seminario Marzo 2011 del “The Network for the better future for social economy”)

• Jeremie è rivolto alle cooperative sociali di tipo A e B e alle cooperative di produzione e lavoro (con 30% minimo di lavoratori svantaggiati). Finanzia interventi di capitalizzazione, attraverso micro-crediti di 4.000 euro concessi a soci, o potenziali soci, (sino a un massimo 50 soci a cooperativa 200.000 Euro). 

• 50% finanziato dal FSE e non deve essere restituita se il socio rimane per 5 anni nella cooperativa, l’altro 50% è concessa da intermediari finanziari si rimborsa in 60 mesi a tassi fisso.

12

Domande, metodologie e fonti

• Domande di valutazione finalizzate a comprendere il reale sostegno dato al consolidamento delle cooperative sociali e prime considerazioni su possibili effetti nelle relazioni tra soci e cooperativa 

• Anche in questo caso impiego di analisi controfattuali –> metodo “Difference in Differences” (DID)

• Di nuovo integrazione di fonti di informazioni necessarie:– Dati di monitoraggio dell’intervento (cooperative e soci che hanno 

beneficiato)– Dati albo regionale cooperative sociali (cooperative non destinatarie)– Dati indagine diretta  questionario online presso 1.000 cooperative 

circa, di cui 244 aderenti a Jeremie (Tasso di risposta: 119 Jeremie e 170 non Jeremie)

13

Alcuni risultati...preliminari

• Buon tasso di copertura delle cooperative sociali

• Elevato tasso di mobilitazione dei soci delle cooperative

• Risorse Jeremie utilizzate in modo integrato con strategia di risposta alla crisi da parte delle cooperative  la flessibilità è uno degli elementi molto apprezzati dello strumento

• La maggioranza delle Cooperative non avrebbe capitalizzato in autonomia senza l’intervento

• Forte additività dell’intervento positiva  no deadweight. • Impatto Positivo E Siginificativo Sulla Variazione Di Capitale Sociale

questo è uno degli indicatori importanti nella valutazione della valore sociale delle imprese sociali (presentazione Regione Lombardia a Cracovia Settembre 2011)

14

Lezioni dall’esperienza della Lombardia

1. Le valutazioni realizzate sono vicine al termine degli interventi  ripeterle per verificare sostenibilità (in letteratura spesso aumentano gli effetti positivi nel tempo)

2. l’integrazione delle fonti di informazioni è un fattore cruciale per la valutazione delle a sostegno dell’economia sociale

3. L’uso di metodi di analisi controfattuale rendono maggiormente robusti i risultati

4. Metodi controfattuali possono essere applicati anche su variabili non strettamene economiche e su indicatori sociali (p.e. empowerment dei destinatari)

15