Annamaria D'urzo - I sistemi informatici SITIC SIGIS Output-CN

I sistemi informaticiSITIC SIGIS Output-CN

Annamaria D’Urzo12/12/2016

OUTPUT

Indice

1. Introduzione

2. Funzionalità

3. Definizione serie

4. Modello logico dei dati

5. Possibili evoluzioni ed informazioni tecniche

I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016

Introduzione

• Creato nel 2009 per mettere a fattore comune il processo di destagionalizzazione delle indagini congiunturali

• Unico DB contenitore di tutti i dati aggregati delle indagini congiunturali, sia di quelle che necessitano del processo di destagionalizzazione sia delle altre, secondo un medesimo formato

• Unico accesso per la produzione dell’output verso I.STAT ed Eurostat (sia in formato Gesmes che SDMX)


SITICSistema informativo trattamento indicatori congiunturali

1

Funzioni di caricamento datiSITIC

2

Aggiornamento periodico dei dati

Aggiornamento una tantum delle tabelle di metadati tramite upload di file secondo tracciati prestabiliti


Cancellazionedei dati

Funzioni di trattamento datiSITIC

3

Destagionalizzazione serie

Diffusione dati e pubblicazione su I.STAT


Definizione Serie

SITIC

4

SERVIZIO Rilevazione di riferimento VARIABILE Variabile oggetto di studio

PRIMA CLASSIFICAZIONE Tipologia classificazioneLivello classificazioneCodice classificazioneSECONDA

CLASSIFICAZIONEANNO BASE Anno base di riferimento della

serie


SITIC Modello logico dei dati

5

AGGIUSTAMENTOCODICE: NUMBER

DESCRIZIONE: VARCHAR2(170)

AGGREGAZIONISERVIZIO: VARCHAR2(6)VAR_AGGREGATA: VARCHAR2(20)CLASS_1A: VARCHAR2(8)COD_LIV_1A: VARCHAR2(2)CODICE_1A: VARCHAR2(10)CLASS_2A: VARCHAR2(8)COD_LIV_2A: VARCHAR2(2)CODICE_2A: VARCHAR2(10)ANNO_BASE: NUMBERPROGRESSIVO: NUMBERORDINE_AGGR: NUMBER

VAR_COMPONENTE: VARCHAR2(20)CLASS_1C: VARCHAR2(8)COD_LIV_1C: VARCHAR2(2)CODICE_1C: VARCHAR2(10)CLASS_2C: VARCHAR2(8)COD_LIV_2C: VARCHAR2(2)CODICE_2C: VARCHAR2(10)FUNZIONE: VARCHAR2(10)ANNO_INI: NUMBERMESE_INI: NUMBERANNO_FIN: NUMBERMESE_FIN: NUMBER

ANNI_BASEANNO: NUMBER


APPROCCIOCODICE: VARCHAR2(3)


AUTORIZSERVIZIO: VARCHAR2(6)UTENTE: VARCHAR2(50)COD_FUNZ: NUMBER

DESCR_FUNZ: VARCHAR2(200)

CATEGORIE_INDICICATEGORIA_IND: VARCHAR2(1)

DESCRIZIONE: VARCHAR2(64)GESMES: VARCHAR2(1)GESMES_LCI: VARCHAR2(4)

CLASSIFICAZIONICODICE: VARCHAR2(10)


CLASSIFICAZIONI_LIVELLICLASSE: VARCHAR2(4)LIVELLO: VARCHAR2(2)


CODICI_DIFFUSIONECODICE: NUMBER


DATE_COMUNICATISERVIZIO: VARCHAR2(3)DATA_CS: NUMBER(6)DATA_COMUNICATO: VARCHAR2(10)TIPO_IND: VARCHAR2(3)ANNO: NUMBERMESE: NUMBER

DESCR_CLASSIFICAZIONICLASSE: VARCHAR2(10)LIVELLO: VARCHAR2(2)CODICE: VARCHAR2(15)

DESCRIZIONE: VARCHAR2(200)CODICEISTAT: VARCHAR2(50)

DIFFUSIONESERVIZIO: VARCHAR2(3)VARIABILE: VARCHAR2(20)CLASS_1: VARCHAR2(8)COD_LIVELLO_1: VARCHAR2(2)CODICE_1: VARCHAR2(10)CLASS_2: VARCHAR2(8)COD_LIVELLO_2: VARCHAR2(2)CODICE_2: VARCHAR2(10)ANNO_BASE: NUMBER

CONFIDENZIALE: VARCHAR2(1)DIFF_GESMES: NUMBERDIFF_CONISTAT: NUMBERNOME_VAR_GES: VARCHAR2(20)INDICATORE_GES: VARCHAR2(10)ACTIVITY_GES: VARCHAR2(30)CON_GRE: VARCHAR2(30)CON_COR: VARCHAR2(30)CON_DES: VARCHAR2(30)ANNO_SER: NUMBERMESE_SER: NUMBERNOMEDATASET: VARCHAR2(50)DIFF_I_STAT: NUMBER

FATTORI_FISSI

SERVIZIO: VARCHAR2(3)NOME_TS: VARCHAR2(30)MESE: NUMBERANNO: NUMBERSEASONAL: NUMBERCALENDAR: NUMBER

FUNZIONICODICE: NUMBER

FUNZIONE: VARCHAR2(20)DESCRIZIONE: VARCHAR2(200)

FUNZIONI_MENUCOD_FUNZ: NUMBER

DESCR_FUNZ: VARCHAR2(200)GRANT_FUNZ: VARCHAR2(10)PROGRAMMA: VARCHAR2(50)COD_FUNZ_PADRE: NUMBERPROGR: NUMBERTIPO: CHAR(1)

INDICISERVIZIO: VARCHAR2(6)VARIABILE: VARCHAR2(20)CATEGORIA_IND: VARCHAR2(1)TIPO_IND: VARCHAR2(3)ANNO_BASE: NUMBERANNO: NUMBERMESE: NUMBERCLASS_1: VARCHAR2(8)COD_LIV_1: VARCHAR2(2)CODICE_1: VARCHAR2(10)CLASS_2: VARCHAR2(8)COD_LIV_2: VARCHAR2(2)CODICE_2: VARCHAR2(10)

INDICE: NUMBERDATA_CS: NUMBER

MEDIE_WDA

SERVIZIO: VARCHAR2(3)NOME_TS: VARCHAR2(30)VALORE: NUMBERDATA_CS: NUMBER

MODELLISERVIZIO: VARCHAR2(6)VARIABILE: VARCHAR2(20)PROGRESSIVO: NUMBERCLASS_1: VARCHAR2(8)COD_LIVELLO_1: VARCHAR2(2)CODICE_1: VARCHAR2(10)CLASS_2: VARCHAR2(8)COD_LIVELLO_2: VARCHAR2(2)CODICE_2: VARCHAR2(10)ANNO_BASE: NUMBERANNO_INI: NUMBERMESE_INI: NUMBERVERSIONE: NUMBER

NOME_TS: VARCHAR2(30)ANNO_FIN: NUMBERMESE_FIN: NUMBERANNO_SER: NUMBERMESE_SER: NUMBERMODELLO: NUMBERPARAMETRO: VARCHAR2(150)

PDSNOMEDATASET: VARCHAR2(30)SERVIZIO: VARCHAR2(6)

NOMEFILE: VARCHAR2(30)TEMA: VARCHAR2(50)SOTTOTEMA: VARCHAR2(50)PERIODICITA: INTEGER

PESISERVIZIO: VARCHAR2(6)VARIABILE: VARCHAR2(20)CLASS_1: VARCHAR2(8)COD_LIVELLO_1: VARCHAR2(2)CODICE_1: VARCHAR2(10)CLASS_2: VARCHAR2(8)COD_LIVELLO_2: VARCHAR2(2)CODICE_2: VARCHAR2(10)ANNO_BASE: NUMBERTIPO_PESO: VARCHAR2(4)ANNO_INI: NUMBERORDINE_AGGREG: NUMBER

VALORE: NUMBERDATA_CS: NUMBERANNO_FIN: NUMBER

RIEPILOGOSERVIZIO: VARCHAR2(6)VARIABILE: VARCHAR2(20)CLASS_1: VARCHAR2(8)COD_LIV_1: VARCHAR2(2)CODICE_1: VARCHAR2(10)CLASS_2: VARCHAR2(8)COD_LIV_2: VARCHAR2(2)CODICE_2: VARCHAR2(10)ANNO_BASE: NUMBERANNO_INI: NUMBERMESE_INI: NUMBER

FREQUENZA: NUMBERANNO_FIN: NUMBERMESE_FIN: NUMBERAPPROCCIO: VARCHAR2(4)AGGIUSTAMENTO: NUMBERORDINE_AGGR: NUMBER

RIFERIMENTI_GESMESSERVIZIO: VARCHAR2(3)VARIABILE: VARCHAR2(20)NOME_VAR_GES: VARCHAR2(30)

RIFERIMENTO: VARCHAR2(100)RECAPITO: VARCHAR2(100)COMMENTO: VARCHAR2(100)NOME_IDE5: VARCHAR2(100)

SER_VAR_I_STATSERVIZIO: VARCHAR2(3)VARIABILE: VARCHAR2(20)

CODICE_I_STAT: VARCHAR2(20)DECIMALI: NUMBER

SERVIZISERVIZIO: VARCHAR2(6)

DESCRIZIONE: VARCHAR2(100)DECIMALI: NUMBERTIPO_IND_NO_I_STAT: VARCHAR2(20)

SITIC_I_STATSERVIZIO: VARCHAR2(3)VARIABILE: VARCHAR2(20)CLASS_1: VARCHAR2(8)COD_LIVELLO_1: VARCHAR2(2)CODICE_1: VARCHAR2(10)CLASS_2: VARCHAR2(8)COD_LIVELLO_2: VARCHAR2(2)CODICE_2: VARCHAR2(10)ANNO_BASE: NUMBER

I_STAT_KEY1: VARCHAR2(50)I_STAT_KEY2: VARCHAR2(50)I_STAT_FREQ: VARCHAR2(1)

STRUTTURA_PDSNOMEDATASET: VARCHAR2(30)SERVIZIO: VARCHAR2(6)CODICE: VARCHAR2(20)

ORDINECOLONNA: INTEGERTIPOCODICE: INTEGERLIVDEFAULT: VARCHAR2(2)CODDEFAULT: VARCHAR2(10)

TIPI_INDICETIPO_IND: VARCHAR2(3)

DESCR_INDICE_ALTRI_SERVIZI: VARCHAR2(12)DESCR_INDICE_IPI: VARCHAR2(27)ORDINE: NUMBER

TIPO_MODELLOCODICE: NUMBER


TIPO_PUBBLICABILITACODICE: VARCHAR2(1)


TIPO_VERSIONECODICE: NUMBER

VERSIONE: VARCHAR2(50)

UTENTISERVIZIO: VARCHAR2(6)UTENTE: VARCHAR2(50)

PASSWORD: VARCHAR2(50)PATH_ORA: VARCHAR2(100)PATH_INP: VARCHAR2(100)PATH_OUT: VARCHAR2(100)SERVER_DATI: VARCHAR2(50)TABIND: VARCHAR2(50)

VARIABILICODICE: VARCHAR2(20)

DESCRIZIONE: VARCHAR2(150)TEMPLATE: NUMBER

VINTAGESERVIZIO: VARCHAR2(6)VARIABILE: VARCHAR2(20)CATEGORIA_IND: VARCHAR2(1)TIPO_IND: VARCHAR2(3)CLASS_1: VARCHAR2(8)COD_LIV_1: VARCHAR2(2)CODICE_1: VARCHAR2(10)CLASS_2: VARCHAR2(8)COD_LIV_2: VARCHAR2(2)CODICE_2: VARCHAR2(10)ANNO_BASE: NUMBERANNO: NUMBERMESE: NUMBERDATA_CS: NUMBER

INDICE: NUMBER

DIFFUSIONERIEPILOGO

INDICI

VINTAGE

MODELLI

AGGREGAZIONI

PDS

SERIE

è descritta da

è destagionalizzata secondo

è diffusa secondo

è memorizzata in

è destagionalizzata aggregando

è storicizzata in

è pubblicata in I.STAT per


PESI

SDMX RI

SITIC

Comunicazione con gli altri sistemiSITIC

6

INDICI_XXX INDICI

MASTORE_CONG

webservices

INDICI_PUBBLICI

sorgente ods output

INDICI_YYY

INDICI_ZZZ


INDICI_FFF

xml, csv

gesmes

sdmx

Possibili evoluzioni• Eurostat sta lavorando ad una nuova versione open in java

del programma di destagionalizzazione dovrà esserne valutato l’inserimento in SITIC

Informazioni tecniche• L’indirizzo web è http://sitic.istat.it

• Il sistema è costituito da un interfaccia web in php sul server newjersey e da un db Oracle su EXADATA istanza EXAPES ed il database MASTORE_CONG è sul Server DBSDMX

• L’autenticazione è effettuata tramite tabelle interne, soltanto per la comunicazione con I.STAT è richiesta un’utenza di dominio

SITIC

7I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016

http://sitic.istat.it/


SIGISSistema informativo gestione indicatori strutturali

8

Introduzione• L’ottima esperienza di SITIC ha spinto perché fosse realizzato

un ambiente analogo per le indagini strutturali

• Punto d’integrazione dei macrodati strutturali ed unico ambiente di storage

• Unico ambiente per la gestione dei metadati e della loro transcodifica

• Ambiente unico per la generazione dei diversi output statistici necessari


FunzioniSIGIS

9

Operazioni caricamento dati e produzione output

Definizione metadatiDefinizione tracciati di output


Funzione di definizione di un aggregatoSIGIS


SIGIS

11

Funzione di definizione di un tracciato


Definizione SerieSIGIS

12

ID_AGGREGATO Identificativo numerico univoco per l’aggregato

INDAGINE Rilevazione di riferimentoMISURA Variabile oggetto di studio

Anno di inizio validitàPRIMA CLASSIFICAZIONE Tipologia classificazione

Codice classificazioneAnno di inizio validità della codifica

SECONDA CLASSIFICAZIONETERZA CLASSIFICAZIONEQUARTA CLASSIFICAZIONEQUINTA CLASSIFICAZIONE


SIGIS Modello logico Database


SIGIS

Comunicazione con gli altri sistemiSIGIS

14

DATI_2TRANSCOD_2 DATI

INDICI_PUBBLICI

sorgente ods output

DATI_1TRANSCOD_1

DATI_3TRANSCOD_3


csv per Tau-Argus

csv per I.STAT

Possibili evoluzioni

• Comunicazione con I.STAT sia in termini di piano di spoglio sia per il popolamento diretto

Informazioni tecniche• L’indirizzo web è http://sigis.istat.it

• Il sistema è costituito da un interfaccia web in php sul server kentucky e da un db Oracle su EXADATA istanza EXAACQ

• L’autenticazione è realizzata sul server di posta Istat, l’abilitazione alle funzioni è realizzata applicativamente

SIGISSistema informativo gestione indicatori strutturali




Introduzione• Il sistema CN_Output è stato realizzato per la memorizzazione

dei dati aggregati validati dalla Contabilità Nazionale secondo il nuovo regolamento SEC2010 in vista della loro diffusione a livello Europeo, ad Eurostat via sdmx, ed a livello nazionale su I.STAT

• Il sistema è costituito dalle seguenti componenti:

cruscotto applicativo caricamento dati creazione file per l’output consultazione dei dati

Output CN


Funzioni dello cruscotto applicativoOutput CN


ETL: Caricamento dati

Output CN

18

Kettle: strumento ETL standard per ISTAT

SETTORI DI PRODUZIONE

Cn OutputPL\SQL

Kettle


Ogni processo di caricamento, sia in termini di definizione che

in termini di esecuzione, è tracciato nel database

SDMX RI

SITIC

19

MASTORE_CN

webservices

CN_DATI_PUBBLICI


Output CNOutput: creazione file per i sistemi di diffusione

Cn Output

xml, csv

Output CN

20

Microstrategy : consultazione dati


Database• E’ stato realizzato un database di tipo multidimensionale

seguendo uno schema a stella, ovvero al centro c'è la tabella dei "fatti" che contiene gli aggregati e ad essa sono associate tutte le dimensioni interessate

• Sono stati definiti come processi di caricamento anche i processi che permettono il calcolo di alcuni aggregati ad hoc ottenibili come somma o prodotto di altri aggregati o con precise formule come la variazione o il concatenato

• La diffusione dei dati è stata realizzata tramite due funzioni PL\SQL ad hoc, una per ogni destinatario di dati. Le funzioni producono i diversi output leggendo gli aggregati da diffondere da tabelle di metadati.

Output CN


Possibili evoluzioni

• Inserimento nel database di altri flussi e produzione di altre tavole per l’output

Informazioni tecniche• Il cruscotto cosi come il sistema di consultazione dati è

possibile soltanto per gli utenti interni alla direzione di contabilità

• Il cruscotto è in php sul server dccnweb e da un db Oracle su EXADATA istanza EXAGEM

• L’infrastruttura SDMX-RI è installata su avana2012 ed il database MASTORE_CN è sul Server DBSDMX

Output-CN


Conclusioni

Grazie a chi ha lavorato per la parte ICT

Sabrina BrunettiAlessio CardacinoMariano CreaGianluca D’AmatoAnnunziata FioreRosaria OccultoCamilla PapaMarco RicciAlessandra TabusiI sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016

Annamaria D'urzo - I sistemi informatici SITIC SIGIS Output-CN

Education

Transcript of Annamaria D'urzo - I sistemi informatici SITIC SIGIS Output-CN