STRUMENTI PER LA VALIDAZIONE DEGLI OUTPUT DI FARM
description
Transcript of STRUMENTI PER LA VALIDAZIONE DEGLI OUTPUT DI FARM
STRUMENTI PER LAVALIDAZIONE DEGLI
OUTPUT DI FARM
G. Briganti, A. Cappelletti, M. D’Isidoro, M. Mircea
Bologna 23-24/marzo/2011
VALIDAZIONE DI FARMOBIETTIVO: SVILUPPO DI UN SOFTWARE PER IL CONFRONTO MODELLO- OSSERVAZIONI
Valutazione statistica: misura delle prestazioni del modello mediante il calcolo di indici di prestazione per tutte le specie inquinanti considerate dalla normativa (DIRETTIVA 2008/50/CE): O3, NO2, NOX, CO, SO2, PM10, PM2.5;
normativa: calcolo delle statistiche previste dalla 2008/50/CE.Criteri di esistenza del dato
VALIDAZIONE DI FARMDIRETTIVA 2008/50/CE
VALIDAZIONE DI FARMDIRETTIVA 2008/50/CE
VALIDAZIONE DI FARMDIRETTIVA 2008/50/CE
PM2.5
• AOT40F (protezione boschi: somma delle eccedenze sopra la soglia di 40 ppb delle concentrazioni orarie, relativamente all’intervallo orario 06-18, estesa al periodo Aprile-Settembre)
• AOT40C (protezione coltivazioni: come AOT40F ma estesa al periodo Aprile-Giugno)• AOT40Fdir (come AOT40F ma intervallo orario 08-20, secondo la direttiva 2008/50/CE
- allegato VII)• AOT40Vdir (protezione vegetazione: somma delle eccedenze sopra la soglia di 40 ppb
delle concentrazioni orarie, relativamente all’intervallo orario 08-20, estesa al periodo Maggio-Luglio - direttiva 2008/50/CE )
• SOMO35 (protezione salute umana: somma delle eccedenze sopra la soglia di 35 ppb dei massimi giornalieri delle medie mobili di 8 ore, estesa all’intero anno)
• SOMO00 (somma dei massimi giornalieri delle medie mobili di 8 ore su 1 anno)
• Superamenti: soglia di 120 µg/m3 (da non superare più di 25 volte per anno civile)
CRITERIO: condizione necessaria è l’esistenza del 90% dei dati – rinormalizzazione SOMO/AOT al numero massimo di giorni/ore per l’anno considerato.
VALIDAZIONE DI FARMDIRETTIVA 2008/50/CE
OZONO
VALIDAZIONE DI FARMSOFTWARE FORTRAN DI ELABORAZIONE
LETTURA FILE INIZIALIZZAZIONE
• Directory dei dati farm e meteo• Dominio• Nome file coordinate (lista stazioni)• Dir DB misure
LETTURA FILE MISURE
LETTURA FILE FARM & METEO (routine netCDF)
• Processo LENTO: implementata parallelizzazione con paradigma OpenMP, ma deve essere testata
• Campi meteo : U, V, T, TCC, PREC• Salvataggio 1 file per stazione misura• Interpolazione bilineare
• Legge i dati medi orari• Controlla esistenza medie
giornaliere:se non sono disponibili le calcola
CALCOLO INDICI STATISTICI
• Allineamento misure-simulazioni• Indici statistici prescritti da normativa • Indici statistici di prestazione (1h/24h)• Percentili (25, 75)• Eccedenze orarie/giornaliere
OUTPUT
• Tabelle indici statistici da normativa• Indici statistici di prestazione
orari/giornalieri • Ciclo medio giornaliero
INDICI STATISTICI DI PRESTAZIONE• R (Pearson’s Correlation Coefficient)
• MBE (Mean Bias Error)
• MNBE (Mean Normalised Bias Error)
5.025.02
ooss
ooss
CCCC
CCCCR
os CCMBE
o
os
CCCMNBE
100
VALIDAZIONE DI FARMSOFTWARE DI ELABORAZIONE
INDICI STATISTICI DI PRESTAZIONE • MAGE (Mean Absolute Gross Error)
• MANGE (Mean Absolute Normalised Gross Error)
• FAC2 (Factor of two)FRAZIONE DI DATI SIMULATI COMPRESA ENTRO UN FATTORE 2 (TRA LA META’ ED IL DOPPIO) RISPETTO ALLE OSSERVAZIONI
os CCMAGE
o
os
CCC
MANGE
100
VALIDAZIONE DI FARMSOFTWARE DI ELABORAZIONE
INDICI STATISTICI DI PRESTAZIONE• FB (Fractional Bias)
• NMSE (Normal Mean Square Error)
• VG (Geometric Variance)
os
os
CCCCFB 2
RANDOMos
os NMSEFBFBNMSE
CC
CCNMSE
2
22
44)(
VALIDAZIONE DI FARMSOFTWARE DI ELABORAZIONE
2
2
)lnlnexp(
)ln(lnexp
osRANDOM
os
CCVGVG
CCVG
INDICI STATISTICI DI PRESTAZIONE• PPEA (Paired Peak Estimation Accuracy)
• SPPEA (Spatially Paired Peak Estimation Accuracy)
• UPA (Unpaired Peak Estimation Accuracy)
),(),(),(100
max
maxmax
txCtxCtxCPPEA
sto
stosts
),(),()3,(100
max
maxmax
txCtxChtxCSPPEA
sto
stosts
),(
),(),(max100max
max
txCtxCtxCUPA
sto
stos
VALIDAZIONE DI FARMSOFTWARE DI ELABORAZIONE
UPA calcolato solo su stazioni rurali
In caso di più massimi osservati coincidenti, vengono calcolati i PPEA /SPPEA corrispondenti e ne viene calcolato il minimo.
INDICI STATISTICI DI PRESTAZIONE
• ASPEA (Average Station Peak Estimation Accuracy)
• IOA (Index of Agreement)
N
i
ist
SPPEAN
ASPEA1
1
2
2
|),(),(||),(),(|
),(),(1
txCtxCtxCtxC
txCtxCIOA
stostostosts
stosts
VALIDAZIONE DI FARMSOFTWARE DI ELABORAZIONE
N.B. Maggiori fluttuazioni nelle concentrazioni, a parità di scarto medio modello/osservazioni, migliorano IOA.
DIRECTORY DI LAVORO SU GRID
/gpor_proj/minni/briganti/minnifarm/post_farm
…/obs_data
…/scores
VALIDAZIONE DI FARMSOFTWARE DI ELABORAZIONE
DIRECTORY DI LAVORO SU GRID
…/obs_data
BRACE-EMEP.1999
BRACE.2005
AirBase.2005
hour.AirBase.2005
day.AirBase.2005
NOx
O3
…
VALIDAZIONE DI FARMSOFTWARE DI ELABORAZIONE
DIRECTORY DI LAVORO SU GRID
…/scores
out
soft
farm_extr AirBase.2005
…
NI0
CI0
…
AirBase.2005
…
2005_4x4
2005_20x20
VALIDAZIONE DI FARMSOFTWARE DI ELABORAZIONE
• Correzione di bug.• Definizione di convenzioni condivise: nomi dei file, struttura dello spazio di
lavoro, formato output, ecc.• Armonizzazione delle procedure illustrate con quelle relative alla
meteorologia: aggiunta di routine ad hoc. Ciò è possibile grazie ai vantaggi di questo tipo di software:
flessibilità: programma principale che chiama delle routine; lettura diretta da archivio (peraltro richiesta da UPA).
• Messa a punto di una sola procedura automatica per concentrazioni e meteo.• Realizzazione di una procedura preliminare di validazione e controllo dei dati
osservati: individuazione spike, dati anomali, errori sistematici, rumore, ecc.• Sviluppo di un’interfaccia grafica.
VALIDAZIONE DI FARMPROSPETTIVE
File .INI
2005 ! anno5 23 ! farm: ora iniziali e finali1 0 365 23 ! giorno inizio, ora inizio, giorno fine, ora fineNI0 ! dominio/gpor_proj/minni/briganti/minnifarm/farm/out/ ! root dir concentrazioniconc ! prefisso file concentrazioni (tipo conc_NI0_YYYYJJJ.nc)/gpor_proj/minni/briganti/minnifarm/meteo/ ! root dir meteometeo ! prefisso file meteo (tipo meteo_NI0_YYYYJJJ.nc)surfpro_saprc90 ! prefisso file contenente la copertura nuvolosa
(surfpro_saprc90_NI0_YYYYJJJ.nc)surf ! prefisso file contenente la pioggia (surf_saprc90_NI0_YYYYJJJ.nc)310. 4840. 4. 4. 146 96 16 ! grid SW corner (X coord., Y coord.), x step, y step (km), nx, ny, nz../../obs_data/AirBase.2005/hour.AirBase.2005/ ! directory contenente i dati orari delle stazioni../../obs_data/AirBase.2005/day.AirBase.2005/ ! directory contenente i dati giornalieri delle stazioni../../obs_data/AirBase.2005/AirBase.2005.coo ! Nome del file di coordinate../../scores/out/AirBase.2005/2005_4x4/ ! output dirAirBase.2005_scores_O3_NI0_2005.txt ! nome file output statisticheO3 ! inquinante_____________________________________________________________________________________________________________
File coordinate
UTMX UTMY NOME TIPO ZONA QUOTA LON LAT CODICE
86861.95 5003955.01 DRUENTO Background rural 337.00 7.56 45.18 IT1121A512568.70 5004069.79 PAVIA Background urban 77.00 9.16 45.19 IT0912A447335.32 4340258.16 PORTOSCUSO Industrial suburban -9999.00 8.39 39.21
IT1396A827947.10 5109459.37 UDINE Traffic urban 100.00 13.24 46.06 IT0760A … …_____________________________________________________________________________________________________________
File output