La valutazione degli interventi di politica sociale: una introduzione A.Vergani Milano, 2010.
-
Upload
jovanni-cavallaro -
Category
Documents
-
view
228 -
download
0
Transcript of La valutazione degli interventi di politica sociale: una introduzione A.Vergani Milano, 2010.
La valutazione degli interventi di politica sociale: una introduzione
A.Vergani
Milano, 2010
La valutazione: che cosa è?
“C’è valutazione ogni qualvolta qualcuno chiede (a se stesso o ad un esterno) di giudicare un’azione
intenzionale (progettata, in corso di realizzazione o realizzata) a fronte di qualche criterio e sulla base
di informazioni pertinenti”
(Palumbo, 2001)
a) LA QUESTIONE DEL VALORE
b) RICERCA VALUTATIVA
Monitoraggio e valutazione (Stame, 1998
con modif.) Monitoraggio Valutazione
Informazione Giudizio eccetera
Attività di supporto diretto al management
Attività svolta per un committente interno o esterno (“domanda”)
Riguarda tendenzialmente tutti gli aspetti (misurabili) dell’azione
Riguarda una selezione di aspetti dell’azione (mirata)
Per ogni intervento/servizio Per una selezione di casi o a campione (mirata)
Viene realizzato con rilevazione regolari, come un flusso
Può essere fatta in diversi momenti o in uno solo
Misura lo scostamento da uno standard
“Giudica” in base a criteri espliciti e fornisce spiegazioni/interpretazioni a supporto dei
giudizi espressi
In generale
Perché si valuta Quando si valuta Che cosa si valuta (le specificità dei servizi
alla persona) Chi fa la valutazione Il disegno della ricerca valutativa Le “tecniche come protesi” La restituzione e l’uso della valutazione
Caso 1: la valutazione dell’assistenza domiciliare di anziani (Bezzi, 2004) Il contesto I problemi del valutatore Il primo approccio: la “doppia committenza” Il disegno della valutazione Il processo di valutazione (brainstorming,
SPO) Il prodotto del pdv: la mappa delle “priorità
del servizio” (uno strumento di valutazione ma anche di programmazione)
Caso 2: la valutazione del funzionamento di una rete di soggetti che interviene sulle fasce deboli della popolazione Il contesto Definizione della domanda di valutazione Individuazione di “oggetti” specifici di indagine
valutativa (“specifiche”, temi) Il disegno della valutazione (impostazione di metodo
e definizione delle tecniche e degli strumenti; organizzazione della valutazione; output attesi)
Realizzazione del processo di valutazione (visite, analisi di documenti, interviste, osservazione)
Elaborazione di un documento di valutazione, presentazione alla Committenza e validazione
Caso 3: la valutazione in itinere dei piani territoriali per l’infanzia e l’adolescenza ex l.285/1997 (De Ambrogio, 2004)
“Raccolta” della domanda di valutazione Costruzione partecipata dello strumento Somministrazione dello strumento Elaborazione dei risultati Restituzione dei risultati agli attori Valutazione partecipata e identificazione di
iniziative di miglioramento
Caso 4: un possibile percorso di valutazione dei risultati di un intervento sociale
1. Identificazione degli obiettivi (di ricaduta) dell'intervento (base-minima di partenza)
2. Individuazione degli ambiti di valutazione (con la guida di approcci e disegni/modelli)
3. Adozione di uno specifico disegno di valutazione (dal "classico disegno sperimentale" a disegni di altro tipo)
4. Ricostruzione del cambiamento (a livello individuale, organizzativo, eccetera) attribuibile all'intervento – attraverso l'applicazione del disegno di valutazione scelto -
5. Calcolo del beneficio economico (in termini di confronto tra costi e benefici) riconducibile alla realizzazione dell'intervento
Adatt. da Quinones e Toninandel, 2005
La caratteristiche del valutare Comparazione (valore “in relazione a….”,
incontro tra “domanda” e “offerta” valutativa, connessione con i “processi decisionali” e in generale di “cambiamento” (Lippi, 2007)
Ricostruire, comparare, “spiegare” “Disciplina” empirica (variabili empiricamente
osservabili: ricerca sociale applicata; paradigma lazarsfeldiano)
Contesto economico-sociale che esprime dei
bisogni
Contesto economico-sociale che esprime dei
bisogni
Contesto politico-istituzionaleche esprime delle
finalità
Contesto politico-istituzionaleche esprime delle
finalità
Obiettivi/Risultati attesi
Attori implicatiProcedureStrumenti
Attori implicatiProcedureStrumenti
Esiti Realizzazioni
Impatti
Eff
ica
cia
es
tern
a
Eff
ica
cia
in
tern
a
Eff
icie
nza
ma
na
ge
ria
leEff
icie
nza
is
titu
zio
na
le
Decisione/Programmazione
Implementazione
ValutazioneEffettiRisultati
Vincoli/RisorseVincoli/Risorse
Ril
ev
an
za
Co
ere
nza
Efficacia ed efficienza in valutazioneB
asat
o su
una
fig
ura
di M
auro
Pal
umbo
, Il p
roce
sso
di v
alut
azio
ne, F
ranc
o A
ngel
i, M
ilan
o 20
01.
Programma o intervento programmato
Programma o intervento programmato
Conclusione, o t0
Conclusione, o t0 della valutazione intermedia
esitirealizzazioni
effettirisultati
impatti
Eff
etti
att
esi
e d
esid
erat
i
Eff
etti
ausp
icat
i e
des
ider
ati esiti,
effetti,impatti
realizzazioni,risultati,impatti
Fattori Fattori intervenienti
Eff
etti
inat
tesi
Valutazioneorientata agli
obiettivi
Valutazioneorientata agli
obiettivi
Valutazionesvincolata
dagli obiettivi
Valutazionesvincolata
dagli obiettivi
Tipi di effetti di programmi e interventi
Effetti (risultati e impatti)
EFFETTO RILEVATO =
EFFETTI DELL’INTERVENTO (EFFETTO NETTO)
+EFFETTI DI ALTRI PROCESSI/FATTORI
(ESTERNI ALL’INTERVENTO: MODALITA’ DI SELEZIONE, MUTAMENTI NATURALI NEI GRUPPI-OBIETTIVO, MUTAMENTO DI CONDIZIONI
DI CONTESTO)+
EFFETTI DEL PROCESSO VALUTATIVO (ERRORI DI MISURAZIONE O DI RILEVAZIONE, AFFIDABILITA’ DELLE
METODOLOGIE E DEGLI STRUMENTI, VALIDITA’ DEGLI STRUMENTI, ERRORI NELLA SCELTA DELLE MISURE DI
RISULTATO)
Il processo di valutazione Le nove tappe (Bezzi, 2001 con modifiche mie)
1. Definizione del mandato2. Analisi dell’evaluando e formulazione delle domande valutative3. Accertamento delle risorse4. Individuazione di un possibile ‘modello valutativo’ di riferimento 5. ‘Esplorazione’ dettagliata dell’evaluando e delle sue
‘componenti’ oggetto di valutazione specifica 6. Stipulazione dei ‘valori valutativi’ (criteri) 7. Individuazione dell’apparato metodologico da impiegare e dei
relativi strumenti di supporto 8. Raccolta e analisi dei dati ed informazioni 9. Restituzione e utilizzo dei risultati della valutazione
Definizione del mandato
Mandato
Mandato = Perché me lo chiedi?• Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)?
• Chi altro è coinvolto (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)?
• Quali gli obiettivi della valutazione (apprendere, negoziare, rendicontare, …)?
Problemi etici e deontologici
Orientamento epistemologico
Contesto Metodo
Analisi dell’evaluando e domande valutative
Decisore
Domande valutative = Cosa è importante analizzare?• Quale valutazione (ex ante, in itinere, …; di processo, di esito…; di efficacia di efficienza…)?
• Quali obiettivi ha l’evaluando?
• Quale ruolo ha la valutazione nel sostegno al management? Cosa serve al gestore dell’intervento?
Fonti informative
Impianto metodologico
Evaluando Metodo
Accertamento delle risorse
Risorse
Risorse = Cosa posso veramente fare?• Quali risorse economiche, di tempo, di risorse umane?
• Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)?
• Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)?
Reale disegno della ricerca
Conferimento autorità
Risorse Metodo
Esplorazione dell’evaluando
Attori sociali
Spazio semantico = Cosa valutiamo, esattamente?• Cosa intendiamo quando parliamo di…?
• Cosa intendono loro quando voi dite…?
• Quali sono gli elementi strategici, costitutivi, di… (indicatori valutativi)?
Condivisione concetti
Attenzione epistemologica
Comprensione Metodo
Concetto 1
Dimensione 1 Dimensione 2 Dimensione 3
Sottodimensione 1 Sottodimensione 2
Indicatore 2
Indicatore 1
Indicatore 3
Indicatore 4
Indicatore 5
Indicatore 7Indicatore 6 Indicatore 8
Lo schema generale del paradigma lazarsfeldiano
Stipulazione dei valori valutativi
Decisore
Attori sociali
Valori valutativi = Da quale punto di vista valutare (= giudicare)?• Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore?
• Cosa ‘vale’ di più? Da quale punto di vista?
• Quale ordine, quale logica, quali “regole”?
Esplicitazione valori
Negoziazione di ‘una’ logica
Valori Metodo
Dati
Raccolta e analisi dei dati
Bisogni, interessi,valori
Raccolta e analisi dati = Dove cerchiamo, come lo raccogliamo, cosa ne facciamo?• In quale ‘formato’ raccolgo le informazioni?
• Come le tratto (matrice dei dati, analisi ermeneutica)?
• Cosa ci faccio poi (restituzione ‘tecnica’; interpretazione negoziale; suggerimenti; …)?
Definizioni operative
Facevalidity
Metodo Utilizzo
Utilizzo dei risultati
Decisore
Contesto
Utilizzo = A cosa è servita la valutazione?• Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione?
• Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente?
• E’ possibile una metavalutazione?
• I costi della valutazione sono giustificati?
Responsabilità del valutatore
Valore aggiunto
Utilizzo Mandato val.
Evaluando, modelli, regole e metodi: l’intreccio necessario per fare valutazione L’analisi del singolo evaluando sulla base di
un certo approccio di valutazione e utilizzando una o più regole (confronto con obiettivi, standard, dati storici; opinione di
….., ….. ) consente di attribuire all’evaluando (per i servizi: attraverso l’impiego di metodi/tecniche di natura prevalentemente qualitativa) un valore
(socialmente costruito e “riconosciuto”)
Le “regole” più comuni per fare valutazione (attribuire un valore) 1. Confrontare gli effetti dell’intervento con i suoi
obiettivi/finalità
2. Confrontare l’intervento (effetti e processo) con i bisogni (domanda, …..) della popolazione-obiettivo
3. “Assumere” la valutazione dell’intervento formulata dagli stakeholder oppure da esperti
Una lista di possibili “regole” (sono sottolineate quelle della diapositiva precedente)
I bisogni o i desideri/domanda della popolazione-target Le finalità e gli obiettivi del programma/progetto/intervento
Standard o requisiti di natura tecnico/professionale Pratiche consolidate (benchmarking)
Altri programmi/progetti/interventi analoghi Requisiti/vincoli di natura legale o normativa
Performance precedenti; dati storici Indicazioni definite dal responsabile del programma
Opinione di esperti Opinione/punto di vista degli attori formativi
Situazione esistente prima dell’intervento per la popolazione target Situazione in assenza del programma (controfattuale)
Teoria del programma (teoria dell’impatto e del processo) Costo (assoluto o relativo)
“E’ dalla ricerca sociale che sono stati derivati i modelli di valutazione” (Alkin, 2004)
Approccio/paradigma (assunzioni-base che guidano l’azione)
Metodologia (disegno complessivo associato ad un particolare insieme di assunti paradigmatici usati per condurre una ricerca)
Le famiglie di tecniche della ricerca sociale utilizzabili in valutazione (Bezzi, 2001)
Analisi di dati di secondo livello Interrogazione delle persone “comuni” Interrogazione di esperti Osservazione
Ricerca valutativa Esperimento
Non esperimento
Multicriteri
Criterio unico
[Manageriale]Ricerca sociale
Standard
Non standard
Dati di primo livello
Dati di secondo livello
Albero delle strategie di ricerca valutativa (Bezzi, 2008)
Ricerca valutativa
Esperimento
Non esperimento
Strategie miste
Criterio unico
Approccio manageriale
Ricerca sociale
Standard
Non standard
basate sull’interrogazione di individui (intervista) e sull’osservazione
basate sull’interrogazione di gruppi
Gruppi reali
Gruppi nominali
Basata sull’interrogazione standard di individui (survey)
Basata sull’analisi di relazioni tra variabili (bi-multi)
basata su documenti
Basata su fonti statistiche esistenti
Basata sull’analisi di indicatori socio-economici
prevalentemente economici di primo e secondo livello
prevalentemente misti di secondo livello
Strategie di ricerca Tipi di tecniche
Strategie e tecniche di ricerca valutativa nella logica del non-esperimento (adatt. da Bezzi, 2008)
Strategia Standard
Di secondo livelloDi primo livello
Strategia non Standard
Di secondo livello
Di primo livello
basate sull’interrogazione
di individui
basate sull’interrogazione
di gruppi
Gruppi reali
Gruppi nominali
Survey con questionario
Analisi Delphi Nominal Group Tech.
Focus group Brainstorming
Intervista biografica o in profondità
Valutaz. Tassonomica (testi scritti)
Analisi costi benefici, ROI
Classificazione delle tecniche: non-esperimento (Bezzi, 2008)
Classificazione delle tecniche: “esperimento” Centratura sugli effetti (di che cosa su cosa) Metodo ‘sperimentale’ classico
(randomizzato) Metodi non-sperimentali (‘differenza nelle
differenze’, ‘analisi di regressione’, ‘abbinamento statistico’, ‘discontinuità attorno ad una soglia’, ‘analisi delle serie storiche interrotte’, ‘rilevazione degli effetti percepiti dai beneficiari’)
La valutazione comparativa “per eccellenza” (Owen e Rogers, 1999)
“Richiede tradizionalmente l’uso di disegni di ricerca predefiniti con possibilmente l’impiego di un gruppo trattato e di uno di controllo, con il ricorso a test e ad altri dati quantitativi. … La determinazione di tutti gli impatti richiede
l’uso di metodi di tipo più esplorativo e il ricorso a evidenze di tipo qualitativo”
Approccio quantitativo e qualitativo (Shaw, 1999)
Approccio quantitativo (dati numerici, setting artificiale, centralità dei comportamenti,
adozione del modello scienze naturali, logica deduttiva, ricerca di “leggi”, realismo) vs qualitativo (“parole” come dati, setting
naturale, centralità del significato, rifiuto del modello delle scienze naturali, logica
induttiva, ricerca di pattern, idealismo)
Tre approcci (da Stame, 2001)
Positivista-sperimentale Pragmatista/
della qualità
Costruttivista
Riferimento
(pietra di paragone) Gli obiettivi Gli standard Ciò che gli attori coinvolti
definiscono come “successo”
Domande I risultati corrispondono agli obiettivi?
I risultati ed i processi corrispondono agli standard?
Che cosa è successo? E’ “buono”?
Teoria E’ possibile predefinire obiettivi e risultati che devono/possono
essere perseguiti
In ogni situazione esistono sempre degli standard con i
quali confrontarsi
La realtà è difficilmente prevedibile; gli effetti inattesi
sono importanti
Metodi Esperimenti e quasi esperimenti
La “logica del valutare” di Scriven, analisi multicriteri
Analisi comparativa, esplorazione, analisi
partecipata
Tecniche Indicatori, indici, analsii controfattuali
Analisi soddisfazione utenti, giudizio di esperti
Studi di caso, interviste, focus-group, osservazione
Utilizzo Strumentale alla decisione politica
Amministrazione e management del programma
Conoscitivo, empowerment
Problemi teorici “La scatola nera” del processo Che cosa la qualità? Come è costruito lo standard?
Da dove cominciare?
Autori Suchman, Campbell, Rossi e Freeman, Chen
Scriven, Wholey, Donabedian, New Public Management
Stake, Guba e Lincoln, Patton, Fetterman, Hirschman,
Tendler
L’approccio della Realistic Evaluation (Pawson e Tilley, 1997)
Effetti (regolarità)=meccanismo+contesto
“I programmi non sono cose che funzionano o non funzionano: semmai essi contengono certe idee
che funzionano per certi soggetti in certe situazioni”
La RE è un approccio che può essere realizzato con metodi e tecniche di tipo sia quantitativo sia
qualitativo
Per concludere
Necessità di un sistema di monitoraggio Priorità alla valutazione in corso d’opera
ovvero del processo di “traduzione in pratica di una ipotesi di intervento”
Utilizzo combinato di metodi quantitativi e qualitativi
Attenzione “al nuovo ed all’inatteso”
Inoltre ….
Dedicare tempo alla progettazione della valutazione
Ipotizzare operazioni valutative gestibili e sostenibili (livello organizzativo e delle risorse)
Predisporre le condizioni necessarie all’utilizzo degli esiti (e del processo) di valutazione