Post on 18-Feb-2019
Corso di formazione
La collaborazione tra Comuni e Province
in materia di statistica e raccolta dati
Collaborazione inter-istituzionale
e
ruolo dei dati amministrativi nella statistica ufficiale
Manlio Calzaroni
(Esperto statistico, già Direttore Centrale Istat)
Cremona, 6 ottobre 2017
Nuova domanda statistica
� La crescente domanda di informazioni complesse
� La necessità di un dettaglio sempre maggiore
� La necessità di ridurre il carico statistico e costi
Determina
� Crescente utilizzo di fonti amministrative a fini statistici
� Definizione di un modello di trattamento dei dati appropriato
Che incide anche nell’organizzazione dei Sistemi statistici nazionali
Perché utilizzare le fonti amministrative per fini statistici
Perché utilizzare le fonti amministrative per fini statistici
Commissione per la Garanzia dell’Informazione Statistica (PSN 2003-2005)
Pur valutando “.. positivamente l’intensificazione dell’impegno [dell’ISTAT/SISTAN]
all’utilizzazione statistica di dati di origine amministrativa, ” [ex-
ante]
Sottolinea che “….Tale impegno incontra notevoli difficoltà che a giudizio della
Commissione sarebbero parecchio ridotte se all’ISTAT/SISTAN fosse
richiesto di intervenire ex-ante, con un obbligatorio parere, nella
definizione di modelli e formati di raccolta delle informazioni. Un
tale coordinamento consentirebbe, infatti, di migliorare di molto la
qualità dei dati amministrativi, anche ai fini di una loro
utilizzazione statistica” (p.14).
Prospettive da Eurostat
COMUNICAZIONE DELLA COMMISSIONE AL PARLAMENTO EUROPEO E AL CONSIGLIO
sul metodo di produzione delle statistiche UE:
una visione per il prossimo decennio
Bruxelles, 10.8.2009
COM(2009) 404 definitivo
I dati amministrativi nella statistica europea
Nuove esigenze
In tutti i settori della statistica continua ad aumentare la
necessità di informazioni. Con l'aumento della complessità
e dell'interrelazione dei dati rilevati, crescono anche le
esigenze degli utenti di disporre di dati integrati e coerenti.
…… su tematiche che riflettono diversi fenomeni di base
correlati e interdipendenti.
Quindi il modello "stovepipe" in cui le statistiche nei diversi
settori vengono prodotte in modo indipendente non è
adatto a soddisfare le esigenze politiche di insiemi di dati
integrati.
Un nuovo modello di produzione delle statistiche Ue
Nuovo modo di produrre
… le statistiche per settori specifici non sarebbero più prodotte
in modo indipendente; sarebbero invece prodotte come parti
integrate in sistemi di produzione completi [impostazione delle
statistiche basata sull'idea di un magazzino di dati (datawarehouse)] per gruppi di statistiche.
Questi sistemi sarebbero basati su una comune infrastruttura
(tecnica); applicherebbero nella misura del possibile software
standardizzato e utilizzerebbero tutte le fonti di dati disponibili
(statistiche e, soprattutto, amministrative).
Un nuovo modello di produzione delle statistiche Ue
Nuovo problemi da affrontare
A tal fine occorre individuare come le informazioni da fonti
diverse possono essere messe insieme e sfruttate per scopi
diversi, ad es.:
mediante l'eliminazione di differenze metodologiche,
uniformando le classificazioni statistiche, ecc.
Per ottimizzare l'efficienza gli Stati membri dovrebbero creare una
rete di basi dati da cui sia possibile estrarre qualsiasi informazione
pertinente.
Per ottenere questi risultati:È indispensabile integrare microdati,
cioè dati di prevalente origine amministrativa
Un nuovo modello di produzione delle statistiche Ue
Perchéidatiamministrativiperrispondereallenuoveesigenzeinformative
La richiesta di informazioni ad elevato dettaglio territoriale per analizzare in
modo adeguato l’evoluzione socio-economica del Paese è sempre più
rilevante.
Il Comune è il livello territoriale dal quale partire per costruire le
aggregazioni informative di cui si ha bisogno a livello locale e nazionale.
A livello locale:
per la gestione e lo sviluppo del territorio ad opera delle amministrazioni
territoriali, per quanto di loro competenza
A livello nazionale:
perchè, data la varietà e la frammentazione della realtà socio-economica
italiana, anche il livello di governo nazionale non può prescindere da una
conoscenza “territoriale” dei fenomeni
Un nuovo modello di produzione delle statistiche Ue
Se si escludono i censimenti, le informazioni di dettaglio provinciale o
comunale fornite dal SISTAN costituiscono una componente assai
marginale della produzione della statistica ufficiale.
Ciò a causa:
• dell’elevato costo delle indagini per garantire una significatività a
livello comunale o provinciale
• della complessità dei problemi metodologici e organizzativi posti
dalle indagini censuarie o campionarie significative a tale livello
territoriale
• della necessità di contenere il fastidio statistico
L’unica possibilità di soddisfare, con periodicità adeguata, le esigenze informative poste dell’utenza risiede nell’utilizzazione delle informazioni
raccolte per fini amministrativi
La necessità di un maggiore dettaglio territoriale
I problemi
Lo sfruttamento a fini statistici delle informazioni di fonte amministrativa
non è una operazione a costo zero. Esso richiede infatti di:
� modificare l’organizzazione del sistema di produzione statistica (strutture
organizzative);
� istituzionalizzare e rendere efficienti i rapporti tra i soggetti della Pubblica
Amministrazione (Centrale e/o Locale) titolari dell’informazione;
� definire nuove metodologie per la soluzione dei problemi tecnici connessi alla
validazione dell’informazione acquisita (qualità)
� promuovere azioni per l’integrazione delle informazioni nei sistemi informativi
amministrativi e statistici (definizioni e classificazioni)
Due tipi di informazioni:
Informazioni prodotte dalle istanze nazionali (ad es. di origine fiscale e
previdenziale) � integrazione orizzontale
Informazioni prodotte dalle istanze territoriali (regione, provincia,
comune) � integrazione orizzontale e verticale
Come sviluppare l’utilizzo di informazioni amministrative
Le linee guida da EUROSTAT identificano tre fasi:
1.“foundation stage”
�facoltà di accedere le basi informative dei vari enti pubblici
detentori
�garantire indipendenza, imparzialità e riservatezza
2. “consolidation stage”
utilizzare gli strumenti legislativi al fine di consolidare le fonti amministrative
come risorsa nella produzione statistica (ex-post)
3. “evolution stage”
profondo grado di cooperazione tra ente amministrativo e Sistema statistico
nazionale (ex-ante)
Quale modello di trattamento
L’integrazione tra soggetti istituzionali produttori
Il salto qualitativo = sviluppare l’”evolution Stage”
Cioè:
l’attività di cooperazione inter-istituzionale che interviene ex-ante rispetto
alla implementazione della fonte
La cooperazione deve svilupparsi in tre principali tipi di attività:
1. individuazione del set informativo da acquisire tramite la modulistica
amministrativa
2. condivisione delle classificazioni e delle definizioni adottate
3. condivisione delle modalità di trattamento dell’informazione
(registrazione, correzione, archiviazione)
Quale modello di trattamento
L’integrazione tra soggetti istituzionali produttori
1. Alleanza strategica ai massimi livelli tra Pubbliche Amministrazioni; in
cui individuare regole di cooperazione, con il riconoscimento dei benefici
sia per fini statistici sia per fini amministrativi
2. Costituire comitati inter-istituzioneli per:
� mettere a fuoco gli aspetti strategici
� effettuare un monitoraggio delle attività svolte
3. Proporre gruppi di lavoro, con rappresentanti degli enti, su obiettivi di
rilievo
4. Prevedere un ruolo specifico per gli uffici di statistica e per l’Istat, vista la
professionalità di cui sono portatori, ed evidenziando i benefici anche per i
fini amministrativi dell’ente detentore delle informazioni
Quale percorso
Sviluppo cultura Statistica
La carenza di “cultura statistica” incide:
� sulla possibilità di utilizzo statistico di tali informazioni
� sull’efficienza nella attuazione dei fini amministrativi
• assenza di protocolli necessari a realizzare/gestire archivi amministrativi
Spesso l’archiviazione si sviluppa su iniziativa di singole con metodi e strumenti
che non permettono una generalizzazione delle informazioni
Evitare che:
Il loro utilizzo si esaurisca all’interno dell’ufficio che le produce.
Sviluppo cultura Statistica
Il loro utilizzo si esaurisca all’interno dell’ufficio che le produce.
E’ quasi la norma che vengano costruiti sistemi informativi che non tengono
conto della necessità di integrare informazioni amministrative analoghe e di cui
sono titolari altre amministrazioni pubbliche:
• un ministero rispetto ad altro ministero e/o agli enti territoriali
• regioni con altre regioni
• regioni con province/comuni
• province/comuni con altre province/comuni
• ……
Sviluppare sistemi informativi con non si parlano è causa di inefficienza della PA e spreco di denaro pubblico.
Sviluppo cultura Statistica
Le pur limitate esperienze confermano quanto detto:
le “regole” dettate della scienza statistica sono utili anche nei processi di
gestione di informazioni amministrative per l’attività dell’ente e come
supporto ai decisori
Una affermazione forte:
Le problematiche per l’acquisizione di informazioni amministrative sono
“analoghe” a quelle inerenti l’acquisizione di dati statistici
Le regole sviluppate dalla statistica quasi mai sono applicate nel campo
amministrativo
Intervento ex-ante sulle informazioni da acquisire
Impatto sull’organizzazione delle amministrazioni sulle modalità con cui le
informazioni vengono da queste acquisite.
Difficoltà:
Individuare un percorso certo per ogni informazione data la presenza di
percorsi alternativi per lo stesso flusso informativo
Obiettivi
�Evitare/Gestire la possibilità che le stesse informazioni possano essere
recepite da più canali
�Gestire variazione nelle caratteristiche delle unità
Intervento ex-ante sulle informazioni da acquisireUna ipotesi di percorso
1. Individuare le norme che determinano l’attività amministrativa
2. Analizzare le informazioni di interesse e le modalità con cui, ogni ente, le
acquisisce
3. Evidenziare definizioni, classificazioni e schema concettuale che soggiace
alle “regole” dettate per gestire le informazioni
4. Definire un insieme condiviso di modalità con cui sviluppare la procedura
in questione
L’applicazione di tale schema determina
Maggiore capacità di analisi:
� Per informazioni interne alla amministrazione
� Per informazioni analoghe provenienti da altre amministrazioni
Evidenti i benefici anche per il sistema statistico.
Come cambia il modo di fare statistica
Impati
i) tecniche/metodologiche
ii) organizzative/culturali
Su quelle tecniche/metodologiche è necessario investire, e già si è iniziato, e
sono sicuramente superabili
Quelle organizzative/culturali sono le più difficili da superare
Organizzazione
Riacquisire l’ottica di un lavoro interistituzionale
Integrare professionalità diverse
Statistiche e specifiche di settore
Per ottenere questi cambiamenti organizzativi
è prioritaria l’identificazione di esperti nelle singole strutture
(ruolo degli uffici di statistica)
Tale professionalità deve essere riconosciuta all’interno della struttura:
�fondersi con la professionalità dell’esperto nella materia trattata dalla
procedura
�il personale interno deve appropriarsi del punto di vista statistico e
individuare tale attività come utile alle finalità proprie della struttura e non
solo come servizio per la statistica ufficiale.
Come cambia il modo di fare statistica
22
Universo
reale
Regole
amm.
Universo
Amministrativo
Universo
Statistico
Regole
Statistiche
determinano determinano
applicazioneapplicazione
Cosa significa utilizzare fonti amministrative per fini statistici
Come cambia il mestiere dello statistico per un INS
23
Universo
reale
Regole
amm.
Universo
Amministrativo
Universo
Statistico
Regole
statistiche
Traduttore
MetaData
Traduttore
MicroData
Cosa significa utilizzare fonti amministrative per fini statistici
Nuove problematiche per un INS
Qualità dei traduttori determina “Qualità statistica” dei dati amministrativi
Come cambia il mestiere dello statistico per un INS
Il passaggio da un dato amministrativo ad una informazione statistica è
una attività ineludibile.
y= f(x)
Dove:
x = informazione acquisita in base a norme amministrative
y = informazione statistica prodotta dal dato amministrativo
f = attività di «traduzione» dal dato amministrativo a quello statistico
L’attività di traduzione:
1. Avviene a valle dello studio dei metadati propri delle norme
amministrative
2. E consta nella traduzione di questi metadati in metadati coerenti
con le «norme» della statistica ufficiale (classificazioni, definizioni e
universo di riferimento)
La funzione di traduzione può essere più o meno complessa
Come cambia il mestiere dello statistico per un INS
Un bisogno informativo
Una indagine
Approccio Tradizionale Nuovo Approccio
Un bisogno informativo
Più fonti integrate
• Riduzione delle risorse finanziarie ed umane
• Riduzione del “fastidio statistico”
• Incremento, in quantità e qualità, delle informazioni statistiche richieste dagli utenti (nazionali e internazionali)
• Incremento della innovazione tecnologica e organizzativa
• Incremento di informazioni di natura differente (dichiarazioni, tracce digitali) disponibili.
• Nuove legislazioni, nazionali ed europee, che facilitano l’accesso da parte degli INS a dati non statistici
Multiple Integrated Data Collection
1:1 1:n
Come cambia il mestiere dello statistico INS
Time
Statistical Survey
Variables
Un
its
Multiple Integrated Collection
Variables
Un
its
Multiple Integrated Data CollectionCome cambia il mestiere dello statistico un INS
� Difficoltà nell’integrazione fisica
� Le diverse fonti possono non essere disponibili in tempi diversi
� Possono utilizzare concetti/classificazioni non coerenti fra loro
� Possono utilizzare gli stessi concetti ma con visioni differenti (oggettivo/soggettivo)
� Contengono differenti tipologie di errori (non campionari/campionari)
� Possono contenere differenti livelli di qualità intrinseca
MIDC: problematiche
Processo produttivo complesso :
INDUSTRALIZZAZIONE/CENTRALIZZAZIONE
Integrazione di fonti elemento chiave
Unità: integrazione fisica
Riconoscimento dello steso oggetto in più fonti e nel tempo
Variabili: integrazione logica
Riconoscimento dello stesso contenuto semantico in più fonti
e nel tempo
Variabili: integrazione informativa
Riconoscimento della coerenza sintattica fra informazioni desumibili da più fonti
L’integrazione
Def.: Archivio di microdati amministrativi e statistici integrati
a supporto dei processi di produzione statistica
Obiettivi
• Comune pretrattamento di Dati Amministrativi (DA)
• Conformità con le leggi sulla confidenzialità ed il collegamento di dati
• Uniformità di accesso ai DA per i produttori di statistiche
• Evitare duplicazioni di lavoro
• Comune descrizione di metadati e qualità dei DA
La risposta IstatSistema Integrato di Microdati - SIM
Titolo intervento, nome cognome relatore – Luogo, data
Dimensioni della qualità dei dati da indagine e da fonti amm.
La misura della qualità dei dati amministrativi considerati come input del processo statistico si differenzia da quella dei dati di indagine output statistico.
Le dimensioni della qualità definite in ambito Eurostat per i dati statistici
Pertinenza, Accuratezza e attendibilità, Tempestività e puntualità,
Coerenza e comparabilità, Accessibilità e chiarezza
non sono direttamente caratterizzanti la qualità statistica dei dati amministrativi.
La QRCA è un report condiviso a livello Ue associato ai dati
amministrativi
Descrive i principali aspetti della qualità dei DA
La documentazione della qualità dei dati del SIM avviene
facendo riferimento alla QRCA (in corso di implementazione)
Titolo intervento, nome cognome relatore – Luogo, data
Quindi:
Individuare le dimensioni specifiche della qualità a fini statistici
di un dato amministrativo
La Ue ha sviluppato più studi che sono confluiti in uno schema
condiviso - La Quality Report Card for Adm. data
1
Dimensioni della qualità dei dati da indagine e da fonti amm.
Titolo intervento, nome cognome relatore – Luogo, data
Qualità dei Quality Report Card for Adm. datasizione di DA
1
IPERDIMENSIONE DIMENSIONE
FONTE F1. Fonte dei DA
informazioni necessarie per gestire il processo di acquisizione dei DA con lo scopo di valutare e migliorare la qualità dei dati acquisiti
F2. Rilevanza della fonte dei DA
F3. Privacy e sicurezza nella gestione dei DA
F4. Modalità trasmissione dei dati
F5. Relazioni e feedback con il fornitore di DA (titolare)
METADATI M1. Chiarezza e interpretabilità
Informazioni per la valutazione della qualità a livello concettuale e la descrizione delle procedure di acquisizione
M2. Comparabilità
M3. Inalterabilità dei metadati
M4. Acquisizione dei dati/trattamento
DATI D1. Controlli tecnici
Indicatori di valutazione della qualità dei DA forniti
D2. Correlazione
D3. Accuratezza
D4. Completezza
D5. Dimensione temporale
Titolo intervento, nome cognome relatore – Luogo, data
Dall’analisi concettuale dei dati amministrativi necessaria per il
caricamento nelle tabelle Oracle del SIM si generano
-Indicatori della Dimensione dei Controlli tecnici (D1)
necessari per monitorare in modo tempestivo la fase di
acquisizione dei dati (leggibilità dei file, conformità dei dati
rispetto alla richiesta, data di acquisizione, ..)
- Individuazione degli oggetti/entità dell’archivio (M1) su cui
calcolare gli indicatori di comparabilità, integrabilità,…
Obiettivo -> automatizzare la produzione della QRCA creando inter-
operabilità tra le fasi del processo di acquisizione
Fase di implementazione [1]
Qualità dei Quality Report Card for Adm. datasizione di DA
Titolo intervento, nome cognome relatore – Luogo, data
Dalla fase di Codifica degli oggetti (impresa, individuo,
comune/provincia) si generano
- Indicatori di Integrabilità (D2-Dati):
Comparabilità degli oggetti
Qualità delle variabili di linkage
- Indicatori di Accuratezza (D3-Dati)
Autenticità degli oggetti
Accuratezza delle variabili di classificazione (codici comune e
provincia)
Indicatori di Completezza (D4-Dati)
Copertura
Valori mancanti degli identificativi
Indicatori della Dimensione temporale (D5-Dati)
Dinamicità degli oggetti
Fase di implementazione [2]
Qualità dei Quality Report Card for Adm. datasizione di DA
Titolo intervento, nome cognome relatore – Luogo, data
Nella fase di caricamento dei dati dei laureati del Miur si generano 5
oggetti/entità e quindi 5 tabelle :
Laureato,
Laurea,
Corso di studi universitario,
Facoltà,
Università.
Su cui calcolare gli indicatori.
Esempio Laureati Miur
Qualità dei Quality Report Card for Adm. datasizione di DA
Titolo intervento, nome cognome relatore – Luogo, data
La fase di Codifica dei laureati/individui consiste nell’assegnazione del
codice individuo, unico in tutto il sistema.
Tale procedura genera
Indicatori di qualità delle variabili di linkage (D2.Integrabilità),
indicatori di autenticità degli oggetti (D3.Accuratezza).
Nel caso dell’esistenza di registri statistici, si generano gli
Indicatori di copertura (D4.Completezza delle unità).
La registrazione della presenza dei codici individuo negli archivi
amministrativi nel tempo genera
Indicatori della Dinamicità degli oggetti (D5.Dimensione temporale)
Esempio Laureati Miur
Qualità dei Quality Report Card for Adm. datasizione di DA
Quality Report Card for AD
ESS Peer Review 2015
Sottocopertura –
Sottocopertura per sottopopolazioni
D4. Completezza
Unità
Tipo di laurea
Miur dati
ufficiali Microdati Sottocopertura
N N Diff Diff %
Laurea Triennale (D.M. 509/99) 142.254 138.385 -3.869 -2,7
Laurea Triennale (D.M. 270/04) 26.484 25.939 -545 -2,1
Laurea Specialistica (D.M. 509/99) 51.297 50.407 -890 -1,7
Laurea Magistrale (D.M. 270/04) 35.244 34.826 -418 -1,2
Laurea a Ciclo Unico (D.M. 509/99) 13.533 13.093 -440 -3,3
Laurea Magistrale Ciclo Unico (D.M. 270/04) 13.346 11.367 -1.979 -14,8
Laurea Vecchio Ordinamento (antecedente D.M. 509/99)
16.647 15.588 -1.059 -6,4
Corsi di diploma universitario vecchio ordinamento(antecedente D.M. 509/99)
64 55 -9 -14,1
Scuole dirette a fini speciali vecchio ordinamento (antecedente D.M. 509/99)
3 1 -2 -66,7
Total 298.872 289.661 -9.211 -3,1
Confronto con dati ufficiali prodotti dal Miur
Titolo intervento, nome cognome relatore – Luogo, data
QRCA e Sviluppo di sistemi integrati di microdati
Gestire la qualità statistica di questi dati significa:
1. Gestione centralizzata e coordinata della acquisizione e
archiviazione dei dati - Repository unico
2. Definizione di uno schema unico di analisi di qualità statistica -
QRCA è un primo approccio disponibile da migliorare e adattare alla
realtà investigata
3. Costruire e sviluppare indicatori specifici per le singole dimensioni
individuate - da sviluppare a cura del produttore del sistema
integrato di microdati
CONCLUSIONI
Conclusioni
L’uso dei dati amministrativi presenta vantaggi ma anche costi:
sviluppo di nuove metodologie
cambiamenti organizzativi Interni dell’INS e del SISTAN
All’interno del SISTAN investimenti sono stati effettuati a partire dagli anni ’90
Oggi, questo tipo di investimento non è più sufficiente.
Sono indispensabili anche investimenti “esterni” al Sistema Statistico Nazionale
Investimenti necessari a coinvolgere in azioni coordinate,
come le norme consentono e auspicano,
l’Istat, i soggetti Sistan e gli Enti titolari di informazioni.
Un coordinamento istituzionale forte può consentire alla Statistica ufficiale di
svolgere quelle funzioni di raccordo e coordinamento tecnico-statistico delle diverse
iniziative di governo, essenziale per la propria specifica attività ma di grande utilità
anche per l’azione di semplificazione del rapporto Stato-cittadino-impresa.
Conclusioni
La condizione per un utilizzo appropriato delle fonti amministrative e per
realizzare sistemi informativi integrati è la ricerca di coordinamento tra diverse
istituzioni
O forse è meglio parlare di ALLEANZA tra diversi ambiti istituzionali:
• Tra produttore nazionale (Istat) e locali della statistica ufficiale
• Tra produttori nazionali e locali di informazioni amministrastive
In entrambi i casi non deve essere scambiato il concetto di autonomia con
quello di autarchia pena la perdita di risorse e la impossibilità di utilizzare
informazioni di cui non si ha diretta titolarità ma che sono tuttavia
indispensabili per il governo del territorio