Software Computing & Challenges nei Tier 2 - ATLAS - Gianpaolo Carlino INFN Napoli IV Workshop ATLAS...

Software Computing &

Challenges

nei Tier 2

- ATLAS -

Gianpaolo CarlinoINFN Napoli

IV Workshop ATLAS & CMSBologna, 23-25 Novembre 2006

22G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2IV Workshop ATLAS & CMS: Bologna 2006IV Workshop ATLAS & CMS: Bologna 2006

~200 Tb/year/T2

~7.7MSI2k/T1 ~2 Pb/year/T1Tier2 Centre

~200kSI2k

UK Regional Centre (RAL)

US Regional Centre

Spanish Regional Centre (PIC)

Italian Regional Centre

SheffieldManchester

LiverpoolLancaster ~0.25TIPS

Workstations

100 - 1000 MB/s

•Some data for calibration and monitoring to institutes

•Calibrations flow back

Each Tier 2 has ~25 physicists working on one or more channels

Each Tier 2 should have the full AOD, TAG & relevant Physics Group summary data

Tier 2 do bulk of simulation

Physics data cache

Tier2 Centre ~200kSI2k

Tier2 Centre ~200kSI2k

622Mb/s

Tier 1Tier 1

Northern Tier ~200kSI2k

Tier 2Tier 2

Event Builder

Event Filter~159kSI2k

T0 ~5MSI2k

10 GB/sec

450 Mb/sec

~Pb/sec

~ 300MB/s/T1 /expt

Tier 0Tier 0 ~9 Pb/year/T1 No simulation

622Mb/s

L’ATLAS Computing ModelL’ATLAS Computing Model

L’Event data flow dall’ on-lineL’Event data flow dall’ on-line Il Formato dei datiIl Formato dei dati La struttura a TiersLa struttura a Tiers La catena di Produzione degli La catena di Produzione degli

eventi:eventi: Simulazione, Produzione Simulazione, Produzione

Distribuita e Data Distribuita e Data ManagementManagement

L’Analisi DistribuitaL’Analisi Distribuita I Data ChallengesI Data Challenges La Federazione dei Tier-2 Italiani La Federazione dei Tier-2 Italiani Sviluppo delle Risorse del Sviluppo delle Risorse del

ComputingComputing ConclusioniConclusioni


Data FlowData Flow

Trigger rate: 200 Hz (indipendente dalla luminositTrigger rate: 200 Hz (indipendente dalla luminosità)à) Dati trasferiti all’input buffer del Tier-0 a 320 MB/s (average)Dati trasferiti all’input buffer del Tier-0 a 320 MB/s (average) Eventi scritti in formato Eventi scritti in formato byte-stream byte-stream (output dei rivelatori) in file da max 2 GB (output dei rivelatori) in file da max 2 GB

(1 file/stream/SFO/lumi_block) (1 file/stream/SFO/lumi_block) ~1000 eventi/file (size nominale ~1.6 MB/evento). 16k file al giorno.~1000 eventi/file (size nominale ~1.6 MB/evento). 16k file al giorno. Il Tier-0 input buffer dovrà conservare i raw data in attesa della ricostruzione:Il Tier-0 input buffer dovrà conservare i raw data in attesa della ricostruzione:

125 TB, sufficienti a 5 giorni di presa dati 125 TB, sufficienti a 5 giorni di presa dati 90% dei dati ricostruiti in max. 48 ore.90% dei dati ricostruiti in max. 48 ore.

Event Builder

Event Filter~159kSI2k

T0 ~5MSI2k

10 GB/sec

320 MB/sec

~Pb/sec

Tier 0Tier 0

•Some data for calibration and monitoring to institutes

•Calibrations flow back

Online (sistema di Trigger e DAQ) Online (sistema di Trigger e DAQ) Offline (Tier-0) Offline (Tier-0)


Sono previste 4 classi di stream di dati generate all’ output dell’ Event Sono previste 4 classi di stream di dati generate all’ output dell’ Event Filter:Filter:

express streamexpress stream, con gli eventi “più interessanti” che devono essere con gli eventi “più interessanti” che devono essere ricostruiti rapidamente. ricostruiti rapidamente. Time scale: ore!Time scale: ore! Motivazioni principali: Motivazioni principali: calibrazione, controllo della qualità dei dati e avviso rapido di calibrazione, controllo della qualità dei dati e avviso rapido di presenza di eventi particolarmente interessanti.presenza di eventi particolarmente interessanti. Menù di trigger in Menù di trigger in via di definizionevia di definizione. Tutti gli eventi sono anche nelle altre stream.. Tutti gli eventi sono anche nelle altre stream.

calibration streamscalibration streams, con i dati necessari per le calibrazioni dei con i dati necessari per le calibrazioni dei detector (Muon dal LVL2, LAr, ID ..). Non contengono l’evento detector (Muon dal LVL2, LAr, ID ..). Non contengono l’evento completo.completo.

debugging streamdebugging stream, contenente eventi che presentano problemicontenente eventi che presentano problemi physics streamphysics stream, un’unica stream è stata sostituita dalle un’unica stream è stata sostituita dalle seguenti seguenti

sotto-stream basate sulle segnature di trigger:sotto-stream basate sulle segnature di trigger:• Muon triggersMuon triggers• Electromagnetic triggers (elettroni e fotoni)Electromagnetic triggers (elettroni e fotoni)• Hadronic triggers (jets, tau e missing energy)Hadronic triggers (jets, tau e missing energy)• B-physics triggers B-physics triggers • Minimum bias e altri prescaled triggers per monitoringMinimum bias e altri prescaled triggers per monitoring

Stream inclusive o esclusive con l’aggiunta di una stream di Stream inclusive o esclusive con l’aggiunta di una stream di overlapoverlap

Streaming dei datiStreaming dei dati


Event Data Model: tipi di datiEvent Data Model: tipi di dati

Nelle varie fasi di ricostruzione e analisi ATLAS utilizza diversi tipi di dati:

1.6 MB/event

target 100 kB/event attualmente 130 kB/event

RAWRAW

ESDESD

AODAOD

TAGTAG

target 1 kB/event attualmente1,3 kB/event

target 500 KB/event attualmente 1,2 MB/event

Raw DataRaw Data: dati in output dal sistema di trigger dati in output dal sistema di trigger e acquisizione in formato byte-streame acquisizione in formato byte-stream

Event Summary DataEvent Summary Data: output della output della ricostruzione (ricostruzione (tracce e hit, celle e cluster nei tracce e hit, celle e cluster nei calorimetri, combined reconstruction objects calorimetri, combined reconstruction objects etc...).etc...).Calibrazione, allineamento, refitting …Calibrazione, allineamento, refitting …Rappresentazione object-oriented POOL/ROOTRappresentazione object-oriented POOL/ROOT

Analysis Object DataAnalysis Object Data: rappresentazione rappresentazione ridotta degli eventi per l’analisi: oggetti “fisici” ridotta degli eventi per l’analisi: oggetti “fisici” ricostruiti (elettroni, muoni, jet, missing Et ...).ricostruiti (elettroni, muoni, jet, missing Et ...).Back Navigation agli ESDBack Navigation agli ESDRappresentazione object-oriented POOL/ROOTRappresentazione object-oriented POOL/ROOT

TagTag: informazioni sintetiche per selezione informazioni sintetiche per selezione veloce degli eventi negli AOD e/o ESD.veloce degli eventi negli AOD e/o ESD.• Formato DB relazionale per ricerche veloci Formato DB relazionale per ricerche veloci • Formato ROOT per istogrammazione veloceFormato ROOT per istogrammazione veloce


Il Modello a TierIl Modello a Tier

Tier-0 (CERN)Tier-0 (CERN)• Archivio dei RAW data ricevuti dall’EF e distribuzione ai Tier1 Archivio dei RAW data ricevuti dall’EF e distribuzione ai Tier1 • Prompt Reconstruction delle calibration e express stream Prompt Reconstruction delle calibration e express stream • Prompt Reconstruction dell’event stream Prompt Reconstruction dell’event stream • Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1

Il modello generale di calcolo per l’offline e l’analisi di ATLAS è quello gerarchico multi-Tier. Modello a cloud: ad ogni Tier-1 sono associati alcuni (3 o 4) Tier-2 spesso i base a considerazioni geografiche.

Event Builder

Event Filter

Tier3

10 GB/s

320 MB/s

~ 150 MB/s ~10~10

~50 Mb/s

~PB/s

Tier2 ~3-4/~3-4/Tier1Tier1

Tier0

Tier1

Tier-1 (10)Tier-1 (10)• Accesso a lungo termine e archivio di un subset di RAW dataAccesso a lungo termine e archivio di un subset di RAW data• Copia dei RAW data di un altro Tier-1Copia dei RAW data di un altro Tier-1• Reprocessing della ricostruzione dei propri RAW data con Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 ai Tier-2 • Archivio dati simulati MC prodotti nei Tier-2Archivio dati simulati MC prodotti nei Tier-2

Tier-2 Tier-2 • Simulazione Monte Carlo Simulazione Monte Carlo • AnalisiAnalisi


Event Data Model: replica e Event Data Model: replica e distribuzione datidistribuzione dati

RAWRAW

ESDESD

AODAOD

TAGTAG

• Dati originali al Tier0• Replica completa nell’insieme dei Tier-1

Per rendere efficiente l’accesso ai dati per ricostruzioni (nei Tier-1) e analisi Per rendere efficiente l’accesso ai dati per ricostruzioni (nei Tier-1) e analisi (nei Tier-1/2) è previsto un certo livello di ridondanza, con repliche dei dati in (nei Tier-1/2) è previsto un certo livello di ridondanza, con repliche dei dati in più Tier.più Tier.

• Gli ESD prodotti con la ricostruzione primaria risiedono al Tier-0 e Gli ESD prodotti con la ricostruzione primaria risiedono al Tier-0 e vengono esportati in due copie ai Tier-1vengono esportati in due copie ai Tier-1• Versioni successive degli ESD prodotte nei Tier-1 (ognuno Versioni successive degli ESD prodotte nei Tier-1 (ognuno riprocessa i suoi RAW) e replicate in due copie ad un altro Tier-1riprocessa i suoi RAW) e replicate in due copie ad un altro Tier-1

insieme completo di ESD su disco in tutti i Tier-1 europeiinsieme completo di ESD su disco in tutti i Tier-1 europei

• Gli AOD prodotti con la ricostruzione primaria risiedono al Tier-0 e Gli AOD prodotti con la ricostruzione primaria risiedono al Tier-0 e sono replicati in ogni Tier-1 (10 copie)sono replicati in ogni Tier-1 (10 copie)• Replicati parzialmente nei Tier-2 (~1/3 – 1/4 in ciascun Tier-2) in Replicati parzialmente nei Tier-2 (~1/3 – 1/4 in ciascun Tier-2) in modo da avere almeno un insieme completo fra i Tier-2 della modo da avere almeno un insieme completo fra i Tier-2 della cloud cloud

ogni Tier-2 specifica i dataset più interessanti per la comunità di ogni Tier-2 specifica i dataset più interessanti per la comunità di riferimentoriferimento

• I database dei TAG sono replicati in tutti i Tier-1 (Oracle DB) I database dei TAG sono replicati in tutti i Tier-1 (Oracle DB) • Repliche parziali dei database TAG nei Tier-2 (Root files)Repliche parziali dei database TAG nei Tier-2 (Root files)

in ciascun Tier-2 risiedono almeno tutti i file Root dei TAG in ciascun Tier-2 risiedono almeno tutti i file Root dei TAG corrispondenti agli AOD ospitati nel sitocorrispondenti agli AOD ospitati nel sito.


Il Modello a Il Modello a cloud cloud prevede 3 o 4 Tier-2 per ogni Tier-1prevede 3 o 4 Tier-2 per ogni Tier-1

Ruolo dei Tier-2 previsto nell’ ATLAS computing model:Ruolo dei Tier-2 previsto nell’ ATLAS computing model: Simulazione Monte CarloSimulazione Monte Carlo Analisi dei gruppi di Fisica e degli end-userAnalisi dei gruppi di Fisica e degli end-user Sviluppo di codiceSviluppo di codice Calibrazione e allineamento per subdetectors di interesse localeCalibrazione e allineamento per subdetectors di interesse locale

Gli istituti responsabili della calibrazione di particolari subdetectors Gli istituti responsabili della calibrazione di particolari subdetectors prevedono di processare i dati di calibrazione in un Tier-2 dedicatoprevedono di processare i dati di calibrazione in un Tier-2 dedicato

Formato dei dati da ospitare:Formato dei dati da ospitare: Copia completa nei Tier-2 della Copia completa nei Tier-2 della cloud cloud di AOD di dati reali (~200 di AOD di dati reali (~200

TB/anno) e Monte Carlo (~60 TB/anno, 30%) TB/anno) e Monte Carlo (~60 TB/anno, 30%) Copia completa dei TAG (~2 TB/anno) Copia completa dei TAG (~2 TB/anno) MC RAW data e ESD. Buffer per la produzione di un mese (~1 TB)MC RAW data e ESD. Buffer per la produzione di un mese (~1 TB) Campioni di ESD e RAW data per sviluppi, Campioni di ESD e RAW data per sviluppi, ESD e (possibilemente) RAW data per le calibrazioni ESD e (possibilemente) RAW data per le calibrazioni O O (TB)(TB) Conditions data per le calibrazioniConditions data per le calibrazioni

Grandi quantità ma per particolari sottorivelatori e periodi di presa datiGrandi quantità ma per particolari sottorivelatori e periodi di presa dati

Fino ad ora i Tier-2 hanno assolto pienamente e con buona efficienza al ruolo Fino ad ora i Tier-2 hanno assolto pienamente e con buona efficienza al ruolo di di

centri di produzione Monte Carlocentri di produzione Monte Carlo

Ruolo dei Tier-2Ruolo dei Tier-2


La catena della La catena della Produzione Monte Produzione Monte

Carlo: Simulazione, Carlo: Simulazione, Produzione Produzione

Distribuita e Data Distribuita e Data Management in Management in

GridGrid


La simulazione di ATLAS, come tutte le altre applicazioni, gira in un framework La simulazione di ATLAS, come tutte le altre applicazioni, gira in un framework comune per l’event processing (ATHENA)comune per l’event processing (ATHENA) Basato su GaudiBasato su Gaudi Separazione tra dati e algoritmiSeparazione tra dati e algoritmi Separazione tra dati transienti (in memoria) e persistenti (in file)Separazione tra dati transienti (in memoria) e persistenti (in file) Steering attraverso Job Options scritti in PythonSteering attraverso Job Options scritti in Python

La descrizione della Geometria del Detector, GeoModel, è disaccoppiata dal La descrizione della Geometria del Detector, GeoModel, è disaccoppiata dal framework di simulazioneframework di simulazione Fornisce una rappresentazione transiente della Geometria basata su Fornisce una rappresentazione transiente della Geometria basata su

numeri primari che descrivono il detector e costanti d’allineamento numeri primari che descrivono il detector e costanti d’allineamento conservati in un DB basato su un sistema di “Hierarchial Versioning”conservati in un DB basato su un sistema di “Hierarchial Versioning”

La Geometria usata nella simulazione La Geometria usata nella simulazione

viene derivata direttamente dal GeoModelviene derivata direttamente dal GeoModel Memoria Memoria ~~ 90 MB 90 MB In questo modo la Simulazione e la In questo modo la Simulazione e la

Ricostruzione utilizzano automaticamente Ricostruzione utilizzano automaticamente

la stessa rappresentazione geometrica la stessa rappresentazione geometrica

del rivelatoredel rivelatore

La Simulazione Monte CarloLa Simulazione Monte Carlo


Generazione eventi fisici: interfaccia ai principali packages di generatoriGenerazione eventi fisici: interfaccia ai principali packages di generatori Simulazione con Geant4 dagli inizi del 2004 (~Simulazione con Geant4 dagli inizi del 2004 (~120M eventi 2004-05)120M eventi 2004-05)

Geometria automaticamente derivata dal GeoModelGeometria automaticamente derivata dal GeoModel Geometrie “nominali” o “reali”Geometrie “nominali” o “reali” Simulazione della risposta del rivelatore (HITS e RDO)Simulazione della risposta del rivelatore (HITS e RDO) Mixing con il pile-up a livello di digitizzazioneMixing con il pile-up a livello di digitizzazione

Validazione intensiva per evidenziare performance non ottimali, Validazione intensiva per evidenziare performance non ottimali, inconsistenze interne o descrizioni inaccurate del rivelatoreinconsistenze interne o descrizioni inaccurate del rivelatore Performance in termini di CPU time e uso di memoriaPerformance in termini di CPU time e uso di memoria

Crescita dei tempi di simulazione (average 400 kSI2k-sec) Crescita dei tempi di simulazione (average 400 kSI2k-sec) • Più accurata Detector DesriptionPiù accurata Detector Desription 6 invece di 36 invece di 3

Confronto con dati reali: Confronto con dati reali:

Test Beam CombinatoTest Beam Combinato Physics PerformancesPhysics Performances

Uso della Fast simulation Uso della Fast simulation per studi di fattibilitper studi di fattibilità e di à e di (physics) background (physics) background ad alta statisticaad alta statistica

La Simulazione Monte CarloLa Simulazione Monte Carlo


Sistema di Produzione DistribuitaSistema di Produzione Distribuita

• ATLAS utilizza in maniera estensiva i tool di Grid per le sue produzioni di ATLAS utilizza in maniera estensiva i tool di Grid per le sue produzioni di dati simulati. Attivitdati simulati. Attivitàà svolta in parallelo con l’analisi distribuita svolta in parallelo con l’analisi distribuita comportando l’accesso di molti utenti alle risorse e ai dati nei vari siti comportando l’accesso di molti utenti alle risorse e ai dati nei vari siti • Necessità di organizzare l’accesso e l’utilizzo delle risorse con un sistema Necessità di organizzare l’accesso e l’utilizzo delle risorse con un sistema

interno di priorità per poter assicurare che lo share di risorse allocato alle varie interno di priorità per poter assicurare che lo share di risorse allocato alle varie ettività e a disposizione dei vari utenti sia coerente con le priorità decise ettività e a disposizione dei vari utenti sia coerente con le priorità decise dall’esperimentodall’esperimento

ATLAS Virtual OrganizationATLAS Virtual Organization: caratterizzazioni degli utenti in base a ruoli e : caratterizzazioni degli utenti in base a ruoli e gruppigruppi

• ATLAS ha ATLAS ha già svolto numerosi esercizi di prodozione distribuita in larga già svolto numerosi esercizi di prodozione distribuita in larga scalascala:• DC1 in 2002-2003, DC2 in 2004, “Rome Production” in 2005DC1 in 2002-2003, DC2 in 2004, “Rome Production” in 2005

Numerosi decine di milioni di eventi completamente simulati e ricostruitiNumerosi decine di milioni di eventi completamente simulati e ricostruiti• CSC (Computing System Commissioning) nel 2006 e 2007 CSC (Computing System Commissioning) nel 2006 e 2007

• DC2 e “Rome production” sono stati interamente eseguiti sulla GridDC2 e “Rome production” sono stati interamente eseguiti sulla Grid

• Uso di 3 Grids MondialiUso di 3 Grids Mondiali• LCG (= EGEE): Europa• OSG/Grid3 (US): America• NorduGrid: Nord Europa

• I file di input e output devono essere accessibili da tutte le GriglieI file di input e output devono essere accessibili da tutte le Griglie


Number of sites;resourcesare evolving quickly

ATLA

S D

C2

Aut

umn

2004

Il Sistema a 3 GriglieIl Sistema a 3 Griglie


Il Il Production DatabaseProduction Database (DB ORACLE (DB ORACLE al CERN) in cui sono definiti i job di al CERN) in cui sono definiti i job di ATLAS raggruppati in: ATLAS raggruppati in: DatasetsDatasets (definiscono il contenuto fisico di

una collezione di job) TasksTasks (identificano tutti i job dello stesso

dataset) Un Un SupervisorSupervisor (Eowyn) che (Eowyn) che

seleziona un job dal ProdDB e lo seleziona un job dal ProdDB e lo manda ai differenti Grid executors e manda ai differenti Grid executors e ne verifica lo stato. Risottomette i ne verifica lo stato. Risottomette i job in caso di failurejob in caso di failure

Gli Gli Executors Executors (moduli Python), uno (moduli Python), uno per ogni Grid flavour, ricevono i job-per ogni Grid flavour, ricevono i job-definitions in formato XML, li definitions in formato XML, li convertono nel linguaggio della convertono nel linguaggio della particolare Grid e li sottomettono particolare Grid e li sottomettono individuando le risorse ottimali (CPU individuando le risorse ottimali (CPU vs Dati) sulle infrastrutture di vs Dati) sulle infrastrutture di calcolocalcolo

DonQuijoteDonQuijote (DQ2), il Data (DQ2), il Data Management System, si occupa Management System, si occupa della gestione e distribuzione dei della gestione e distribuzione dei dataset.dataset.

Per produrre i dati necessari ai vari DC è stato sviluppato un sistema di produzione automatizzato, ProdSys l’architettura consiste di 4 componenti:

Sistema di Produzione DistribuitaSistema di Produzione Distribuita


Distributed Data Management ModelDistributed Data Management Model

Il sistema di Distributed Management (DDM) di ATLAS, Il sistema di Distributed Management (DDM) di ATLAS, Don Quijote (DQ2)Don Quijote (DQ2), , permette l’implementazione delle funzionalita’ previste dal Computing Model:permette l’implementazione delle funzionalita’ previste dal Computing Model:

• Distribuzione di dati raw e ricostruiti, reali e simulati, tra i vari TierDistribuzione di dati raw e ricostruiti, reali e simulati, tra i vari Tier• Catalogazione dei dataset (aggregazione di file e relativi metadata)Catalogazione dei dataset (aggregazione di file e relativi metadata)

Il sistema, ridisegnato nel 2005 e in alcune sue parti ancora in fase prototipale, Il sistema, ridisegnato nel 2005 e in alcune sue parti ancora in fase prototipale, ha infatti un’organizzazione basata sui datasetsha infatti un’organizzazione basata sui datasets: • Cataloghi di dataset Cataloghi di dataset centralicentrali, suddivisi in vari DB per facilitare l’accesso, suddivisi in vari DB per facilitare l’accesso

• Dataset Repository, Dataset Content Catalog, Dataset Location Catalog, Dataset Dataset Repository, Dataset Content Catalog, Dataset Location Catalog, Dataset Subscription CatalogSubscription Catalog

• Cataloghi di file Cataloghi di file distribuiti (locali)distribuiti (locali)• Non ci sono cataloghi globali di file: il mapping nome logicoNon ci sono cataloghi globali di file: il mapping nome logico nome fisico è fatto nome fisico è fatto localmente sui cataloghi localizzati nei Tier-1 che contengono soli i file salvati nella localmente sui cataloghi localizzati nei Tier-1 che contengono soli i file salvati nella cloud. cloud. LFCLFC (LCG File Catalog) è il Local Replica Catalog (LCG File Catalog) è il Local Replica Catalog

• Sistema di sottoscrizioneSistema di sottoscrizione• Sistema per il trasferimento automatico dei dati. Sistema per il trasferimento automatico dei dati. Ogni sito si sottoscrive a un dataset e Ogni sito si sottoscrive a un dataset e le nuove versioni del le nuove versioni del dataset vengono dataset vengono automaticamente rese automaticamente rese disponibili ad ogni disponibili ad ogni variazionevariazione

Subscriptionsphys.esd.001: CERN, CNAF, BNLphys.aod.001: CERN, CNAF

CERN

phys.raw.001phys.esd.001phys.aod.001

CNAF

phys.esd.001phys.aod.001

BNL

phys.esd.001Automatic

updates


Il Modello di Analisi Distribuita di AtlasIl Modello di Analisi Distribuita di Atlas è in fase di evoluzioneè in fase di evoluzione::

Task Force per determinare il “Miglior Modello” tenendo conto delle necessità Task Force per determinare il “Miglior Modello” tenendo conto delle necessità

degli utenti (velocità e semplicità di accesso ai dati) e dei gruppi di fisica degli utenti (velocità e semplicità di accesso ai dati) e dei gruppi di fisica

(separazione tra in- e out-of-framework analysis), back-navigation all’intero (separazione tra in- e out-of-framework analysis), back-navigation all’intero

eventoevento

Test su scala significativa nel CSCTest su scala significativa nel CSC

Uso delle risorse per l’analisi Uso delle risorse per l’analisi

I Tier-2 ospitano job di analisi sia individuale che di gruppo I Tier-2 ospitano job di analisi sia individuale che di gruppo Il Computing Model prevede che il 50% delle risorse di CPU siano dedicate all’analsiIl Computing Model prevede che il 50% delle risorse di CPU siano dedicate all’analsi

I Tier-1 possono accogliere job di analisi di gruppoI Tier-1 possono accogliere job di analisi di gruppo

Analisi locale per ottimizzare l’efficienza del processamento dei datiAnalisi locale per ottimizzare l’efficienza del processamento dei dati

1.1. Selezione degli eventi da TAG e analisi sugli AOD degli eventi selezionatiSelezione degli eventi da TAG e analisi sugli AOD degli eventi selezionati

2.2. Determinazione dei siti dove i dati sono memorizzatiDeterminazione dei siti dove i dati sono memorizzati

3.3. Invio in questi siti (tramite Grid tools) dei jobs ed estrazione delle Invio in questi siti (tramite Grid tools) dei jobs ed estrazione delle

informazioni più rilevanti:informazioni più rilevanti: nella forma di DPD (ntuple) da usare localmente in modo interattivonella forma di DPD (ntuple) da usare localmente in modo interattivo

Analisi DistribuitaAnalisi Distribuita


Selezione TAG basedSelezione TAG based Apertura di una sessione tramite un’interfaccia Apertura di una sessione tramite un’interfaccia

(GANGA) che permette di eseguire tutte le operazioni (GANGA) che permette di eseguire tutte le operazioni d’analisi:d’analisi:

Job configuration, submission, splitting, merging, monitoring, output retrieval

Interrogazione delInterrogazione del Dataset Content CatalogDataset Content Catalog che che contiene i metadata per ogni dataset del tipo contiene i metadata per ogni dataset del tipo desiderato per trovare quelli che gli interessanodesiderato per trovare quelli che gli interessano

Esempio di query: dammi la lista dei dataset con trigger Esempio di query: dammi la lista dei dataset con trigger 22 del 2009, versione x.y.z del software etc…. del 2009, versione x.y.z del software etc….

Localizzazione tramite il Localizzazione tramite il Dataset Location CatalogDataset Location Catalog del sito (del sito (cloud) cloud) dove risiede il datasetdove risiede il dataset

Passaggio dai dataset ai singoli files tramite ilPassaggio dai dataset ai singoli files tramite il Local Local File CatalogFile Catalog presente in ogni Tier1 della presente in ogni Tier1 della cloudcloud

Applicazione dell’ algoritmo di selezione sui dataset Applicazione dell’ algoritmo di selezione sui dataset scelti e produzione di una lista di eventi accettatiscelti e produzione di una lista di eventi accettati

In Athena è disponibile il tool che per ogni dataset permette di processare solo gli eventi specificati via TAG list

DatasetContentCatalog

Dataset C

“TAG, 2, 2009,…”

Event 1,Event 3,Event 6

Selection

criteria

DatasetLocationCatalog

LFC

Dataset C:•File 1•File2

CNAFCNAF

Analisi Distribuita: selezione dei datiAnalisi Distribuita: selezione dei dati


Selezionati gli eventi, sottomissione alla Grid Selezionati gli eventi, sottomissione alla Grid dei job di analisi tramite il Work Load Manager dei job di analisi tramite il Work Load Manager (WLM), nei siti dove risiedono gli eventi(WLM), nei siti dove risiedono gli eventi

Il Dataset Location Catalog localizza i siti dove Il Dataset Location Catalog localizza i siti dove risiedono i dataset contenenti gli eventi accettati risiedono i dataset contenenti gli eventi accettati e con il Local File Catalog, si passa ai singoli files e con il Local File Catalog, si passa ai singoli files residenti sugli SEresidenti sugli SE

Un job può dare come output una nuova Un job può dare come output una nuova collezione di eventi, che può essere registrata collezione di eventi, che può essere registrata come nuovo dataset nei cataloghi e acceduto come nuovo dataset nei cataloghi e acceduto successivamentesuccessivamente

In DQ2 è possibile sottoscrivere uno o più siti In DQ2 è possibile sottoscrivere uno o più siti come destinazione del dataset e quando il come destinazione del dataset e quando il dataset è completo viene inizializzato il dataset è completo viene inizializzato il trasferimento con FTStrasferimento con FTS

La possibilità di generare nuovi dataset La possibilità di generare nuovi dataset consistenti sarà ristretta (almeno inizialmente) ai consistenti sarà ristretta (almeno inizialmente) ai responsabili delle produzioni dei gruppi di fisicaresponsabili delle produzioni dei gruppi di fisica

Estrazione dall’insieme dei dati analizzati (in Estrazione dall’insieme dei dati analizzati (in formato AOD) dei file di Derived Physics Data formato AOD) dei file di Derived Physics Data (tipo n-tupla o altro formato privato) che potrà (tipo n-tupla o altro formato privato) che potrà poi essere analizzare interattivamente in poi essere analizzare interattivamente in locale.locale.

Submissiontool

Event 1,Event 3,Event 6

Dataset A:•File 1•File 2

LFC

Dataset B:•File 3•File 4

LFC

Dataset C:•File 5•File 6

Work LoadManager

Job 3

ComputingElement

Job 2Job 1

ComputingElement

DPD/Ntuple

•File 5•File 6

DPD/Ntuple

•File 3•File 4

DPD/Ntuple

•File 1•File 2

DatasetLocationCatalog

CNAFCNAF

CERN

CERN

Analisi Distribuita: data processingAnalisi Distribuita: data processing


Electron

TauJet

Muon

PJet

TrackP

Cluster

TruthP

MET

AOD

Photon

M_effTop_mass[]MissingEt

Mu_eta[]Ph_eta[]El_eta[]

Mu_p_T[]Ph_p_T[]El_p_T[]

DPD (Ntuple)

AOD Building• Copy select info

• Slim: make “lighter” objects.

• Thin (eg remove some truth particles).

1. Framework Analysis• “Recalibrate”• Select Obj/Remove overlap• Complicated Tasks• Calculate DPD

Athena

Athena

Athena/E

V

Athena/E

V

2. Out-of-Framework Analysis• Further Analysis

• Make plots

Event Data + User Data

Histograms

egamma

TauObj

CMuon

Jet

TTrack

Cells

Cluster

Hits

Truth

ESD

MET

ROOT

2 Stage User Analysis

Analisi Distribuita: il modello attualeAnalisi Distribuita: il modello attuale


I Data Challenges di I Data Challenges di ATLAS ATLAS


LHC Computing Review (2001)LHC Computing Review (2001)“Experiments should carry out Data Challenges of increasing size and complexityExperiments should carry out Data Challenges of increasing size and complexityto validateto validate

their Computing Modeltheir Computing Modeltheir Complete Software suitetheir Complete Software suitetheir Data Modeltheir Data Model

to ensure to ensure the correctness of the technical choices to be madethe correctness of the technical choices to be made””

Validazione del Computing ModelValidazione del Computing Model

Validazione del Modello attraverso una serie di challenges di crescente Validazione del Modello attraverso una serie di challenges di crescente complessità:complessità:

• Data Challenges (DC1 e DC2, 2001-2004)Data Challenges (DC1 e DC2, 2001-2004)• Computing System Commissioning (CSC, 2006-2007)Computing System Commissioning (CSC, 2006-2007)• Calibration Data Challenge (primo semestre 2007)Calibration Data Challenge (primo semestre 2007)• “ “Final Dress Rehearsal” (secondo semestre 2007)Final Dress Rehearsal” (secondo semestre 2007)

In parallelo sono state sviluppateIn parallelo sono state sviluppate• la produzione “continua” per fornire i dati all’analisi fisica la produzione “continua” per fornire i dati all’analisi fisica

“ “Rome” production nel 2005 (physics workshop)Rome” production nel 2005 (physics workshop) CSC nel 2006CSC nel 2006

• Test più specializzati:Test più specializzati: Tier-0 scaling testsTier-0 scaling tests Service Challenges & Data Transfer Functional testService Challenges & Data Transfer Functional test


DC1 (2002-2003)DC1 (2002-2003)• Primo “esercizio” di ATLAS su scala mondialePrimo “esercizio” di ATLAS su scala mondiale • Sviluppo e test della full software chainSviluppo e test della full software chain

Simulazione dei dati; digitizzazione; pile-up; ricostruzione• Dati Monte Carlo necessari per l’ ”High Level Trigger Technical Design Report”Dati Monte Carlo necessari per l’ ”High Level Trigger Technical Design Report”• Production system preliminareProduction system preliminare• Uso “preliminare” della Grid Uso “preliminare” della Grid

NorduGrid: tutta la produzione eseguita in Grid US: Grid usata alla fine del test LCG-EDG: solo test durate il Data Challenge ma non una “reale” produzione

Storia dei Data ChallangesStoria dei Data Challanges

DC2 (2004)DC2 (2004)• Stessi esercizi del DC1Stessi esercizi del DC1• Introduzione del nuovo Introduzione del nuovo

Production System (ProdSys)Production System (ProdSys) Produzione in siti sparsi nelle

tre differenti Griglie• 20 Nazioni, 69 siti, 260k jobs20 Nazioni, 69 siti, 260k jobs

°Rome Production° (2005)°Rome Production° (2005)• Produzione di dati simulati per Produzione di dati simulati per

il Physics Workshop a Roma nel il Physics Workshop a Roma nel Giugno 2005 usando le Giugno 2005 usando le infrastrutture del DC2infrastrutture del DC2

• 22 Nazioni, 84 siti, 570000 jobs22 Nazioni, 84 siti, 570000 jobs


Il principale scopo del Computing System Commissioning (CSC) è di Il principale scopo del Computing System Commissioning (CSC) è di testare e testare e

validare le infrastrutture del software e del computing che saranno utilizzate validare le infrastrutture del software e del computing che saranno utilizzate dal dal

2007 per l’analisi fisica2007 per l’analisi fisica Procedure di Calibrazione e AllineamentoProcedure di Calibrazione e Allineamento Full trigger chainFull trigger chain Messa a punto della catena completa di Produzione, Simulazione, Messa a punto della catena completa di Produzione, Simulazione,

Ricostruzione degli eventi e Distribuzione dei DatiRicostruzione degli eventi e Distribuzione dei Dati Accesso distribuito ai dati per l’analisiAccesso distribuito ai dati per l’analisi

Il CSC durante il 2006 è stata più che altro un’ operazione di produzione Il CSC durante il 2006 è stata più che altro un’ operazione di produzione continua che un challenge stand-alonecontinua che un challenge stand-alone 50 M eventi di fisica e particelle singole prodotti in 6 mesi con la 50 M eventi di fisica e particelle singole prodotti in 6 mesi con la

release 11 del software di ATLAS;release 11 del software di ATLAS; Informazioni del trigger negli ESD/AOD Informazioni del trigger negli ESD/AOD (trigger aware analysis)(trigger aware analysis)

Il Computing System CommissioningIl Computing System Commissioning


Produzioni nel 2006Produzioni nel 2006

Atlas Wall Clock Time per Region (Jan-Oct 2006)

Russia2%

UKI23%

AsiaPacific3%

CentralEurope6%

CERN28%

France9%

GermanySwitzerland5%

Italy10%

NorthernEurope4%

SouthEasternEurope4%

SouthWesternEurope6%

AsiaPacific

CentralEurope

CERN

France

GermanySwitzerland

Italy

NorthernEurope

Russia

SouthEasternEurope

SouthWesternEurope

UKI


Produzioni nel 2006Produzioni nel 2006

Wall Clock Time at Tier-1s (Jan-Oct 2006)

Nordic0%

pic3%

RAL-LCG210%

NIKHEF.NL6%

SARA-LISA0%

Taiwan-LCG25%

FZK-LCG23%

IN2P3-CC7%

INFN-T112%

USCMS-FNAL-WC10%

CERN-PROD9%

BNL-LCG244%

SARA-MATRIX0%

TRIUMF-LCG21%

Taiwan-LCG2

BNL-LCG2

CERN-PROD

USCMS-FNAL-WC1

FZK-LCG2

IN2P3-CC

INFN-T1

Nordic

pic

RAL-LCG2

NIKHEF.NL

SARA-LISA

SARA-MATRIX

TRIUMF-LCG2


Attività del CSC nel periodo fine 2006, inizi 2007 Attività del CSC nel periodo fine 2006, inizi 2007

Basata sulla produzione di eventi corrispondenti ai primi 100 pbBasata sulla produzione di eventi corrispondenti ai primi 100 pb -1-1

di dati: di dati: 20 M eventi con la release 12 del software di ATLAS in corso (10 M 20 M eventi con la release 12 del software di ATLAS in corso (10 M

eventi/mese). Ricostruzione da Dicembre. 40 M eventi nel primo eventi/mese). Ricostruzione da Dicembre. 40 M eventi nel primo

trimestre 2007trimestre 2007

La release 12 permette di scegliere tra configurazioni geometriche La release 12 permette di scegliere tra configurazioni geometriche

di rivelatore ideale e “as installed”:di rivelatore ideale e “as installed”: Geometria ideale Geometria ideale

Geometria disallineataGeometria disallineata

Geometria disallineata e “distorta”Geometria disallineata e “distorta”

Mappa più realistica del campo magnetico (parziale asimmetria)Mappa più realistica del campo magnetico (parziale asimmetria)

Descrizione accurata del materiale inerte e dei canali mortiDescrizione accurata del materiale inerte e dei canali morti

Full trigger simulation e studio dei trigger menusFull trigger simulation e studio dei trigger menus

Il Computing System CommissioningIl Computing System Commissioning


Lavoro finalizzato nella prima metLavoro finalizzato nella prima metà del 2007 à del 2007 in una serie di note (CSC notes)in una serie di note (CSC notes) Lo scopo non è quello di scrivere delle note (aggiornando i risultati del Lo scopo non è quello di scrivere delle note (aggiornando i risultati del

TDR di fisica) ma di rendere l’intero sistema funzionante e operativo TDR di fisica) ma di rendere l’intero sistema funzionante e operativo per il data taking per il data taking

Sinergia tra attività di software/computing, studio di performances & Sinergia tra attività di software/computing, studio di performances & analisi per evitare duplicazioni e creare integrazioni tra i gruppianalisi per evitare duplicazioni e creare integrazioni tra i gruppi

Sono stati definiti circa 100 argomenti fra performances e studi di fisicaSono stati definiti circa 100 argomenti fra performances e studi di fisica 13 note con editore italiano 13 note con editore italiano

3 Higgs, 1 Top, 2 SuSy, 1 B-physics, 1 b-tagging, 4 jets, 1 muoni3 Higgs, 1 Top, 2 SuSy, 1 B-physics, 1 b-tagging, 4 jets, 1 muoni

La simulazione dei dati con set-up realistici associa le attività del CSC a quelle La simulazione dei dati con set-up realistici associa le attività del CSC a quelle del del

Calibration Data ChallengeCalibration Data Challenge note di processi molto sensibili alle calibrazioni del rivelatore (Higgs note di processi molto sensibili alle calibrazioni del rivelatore (Higgs

γγγγ, muoni, b-tagging) , muoni, b-tagging)

Le Note CSCLe Note CSC


AnalysisGeometry of“as-installed mis-aligned” detector

G4-simulation of calibration samples[O(10M) events, e.g. Z ll]

Reconstruction pass N(Release 13, Feb. 07)

Calib/alignconstantspass N

Condition DataBase

Calib/alignconstants from pass N-1 Pass 1 assumes perfect

calibration/alignmentand nominal material

In Release 12.0.3(current)

Calibration Data ChallangeCalibration Data Challange

verifica della funzionalità del calibration ‘closed loop’:verifica della funzionalità del calibration ‘closed loop’:

1.1. simulazione del un rivelatore imperfetto (realistico) e ricostruzione assumendo il simulazione del un rivelatore imperfetto (realistico) e ricostruzione assumendo il rivelatore idealerivelatore ideale

2.2. determinazione del set finale di correzioni, allinemaneti e costanti di calibrazione determinazione del set finale di correzioni, allinemaneti e costanti di calibrazione 3.3. confronto delle performance con quelle nominali (TDR)confronto delle performance con quelle nominali (TDR)

e del processing degli algoritmi di calibrazionee del processing degli algoritmi di calibrazione nel framework offline del software nel framework offline del software combinando le informazioni di vari sottorivelatoricombinando le informazioni di vari sottorivelatori conditions database in ambiente distribuito conditions database in ambiente distribuito realistico streaming dei datirealistico streaming dei dati


x = 0.y = 0.

x = 0.mmy = 7.mm

= 0.

x = 3.5mmy = 3.5mm

= 0.

x = -1.75 mmy = 5.25mm

BOL~ 1 mrad

BML~ 1.3 mrad

BIL~ 1.8 mrad

x = -3.5mmy = 3.5mm

= 0.

Toroid ‘egg’

ID conversion map

Simulazione Realistica del rivelatoreSimulazione Realistica del rivelatore

Realistico Realistico Come installato al pit

Shift di tutti le principali parti del rivelatore già installate in accordo alle misure di survey (~mm)

Toroid ‘egg-shape’ Mis-calibrato

calo-cells, R-t relations Mis-allineato

Moduli ID e camere a muoni Deformazioni e wire sagging B-field map migliorata, includendo

tilt/shift rispetto alla posizione nominale dell’asse

Descrizione accurata del materiale

Esempio di ricostruzione del pt nell’IDEsempio di ricostruzione del pt nell’ID

• simulatione mis-allineata, simulatione mis-allineata, • ricostruzione nominalericostruzione nominale


Generazione di eventi MC simulando lo spettro fisico atteso e pochi giorni di Generazione di eventi MC simulando lo spettro fisico atteso e pochi giorni di

data taking (~1 pbdata taking (~1 pb-1-1 a L=10 a L=103131 cm cm-2-2 s s-1 -1 )) G4 simulation (geometria del rivelatore realistica “as installed” )G4 simulation (geometria del rivelatore realistica “as installed” ) Mix degli eventi dei vari canali di fisica per riprodurre l’output dell’HLTMix degli eventi dei vari canali di fisica per riprodurre l’output dell’HLT Simulazione del trigger, produzione del byte stream (emulando i RAW data) e Simulazione del trigger, produzione del byte stream (emulando i RAW data) e

streaming degli eventistreaming degli eventi Trasmissione degli eventi dal Point 1 al Tier0Trasmissione degli eventi dal Point 1 al Tier0 Processamento delle calibrazioni e dell’allineamento al Tier0Processamento delle calibrazioni e dell’allineamento al Tier0 Ricostruzione al Tier0 Ricostruzione al Tier0 produzione di ESD, AOD, TAG produzione di ESD, AOD, TAG Distribuzione di ESD, AOD, TAG ai Tier-1 e Tier-2Distribuzione di ESD, AOD, TAG ai Tier-1 e Tier-2 Processamento dell’analisi distribuita (possiblmente ai Tier-2) usando i TAGProcessamento dell’analisi distribuita (possiblmente ai Tier-2) usando i TAG

Esercizio completo dell’intera catena, dall’ on-line & trigger Esercizio completo dell’intera catena, dall’ on-line & trigger all’analisi distribuita, da eseguire nel secondo semetre del 2007, all’analisi distribuita, da eseguire nel secondo semetre del 2007, poco prima dell’inizio del data taking:poco prima dell’inizio del data taking:

Il Final “Dress Rehearsal”Il Final “Dress Rehearsal”


I Tier-2 italiani di I Tier-2 italiani di ATLASATLAS


I Tier-2 italianiI Tier-2 italiani

La richiesta di infrastrutture di calcolo di ATLAS Italia La richiesta di infrastrutture di calcolo di ATLAS Italia è motivata dalla necessità è motivata dalla necessità

didi• integrarsi nel modello di calcolo di ATLAS integrarsi nel modello di calcolo di ATLAS • costituire un supporto adeguato alle attività di calcolo italianecostituire un supporto adeguato alle attività di calcolo italiane

• Ricostruzione:Ricostruzione: Muon Detector, Calorimetri, Pixel DetectorMuon Detector, Calorimetri, Pixel Detector• Calibrazioni/allineamento:Calibrazioni/allineamento: MDT, RPC, Calorimetri, Pixel Detector, DBMDT, RPC, Calorimetri, Pixel Detector, DB• Studi di performanceStudi di performance: : Muoni, Tau/jet/EtMiss/egamma Muoni, Tau/jet/EtMiss/egamma • Analisi:Analisi: Higgs, Susy, Top, Fisica del B Higgs, Susy, Top, Fisica del B • SimulazioneSimulazione (soprattutto legate alle attività elencate)(soprattutto legate alle attività elencate)

Per assolvere alle funzioni richieste dalle attività della comunità italiana il Per assolvere alle funzioni richieste dalle attività della comunità italiana il

sistema ha una struttura gerarchica articolata in Tier-1 e Tier-2 i quali svolgono sistema ha una struttura gerarchica articolata in Tier-1 e Tier-2 i quali svolgono

compiti sostanzialmente complementaricompiti sostanzialmente complementari• Per garantire la massima flessibilità ed efficienza è stato proposto un Per garantire la massima flessibilità ed efficienza è stato proposto un

numero significativo di centri Tier-2 in accordo al numero di utenti e alla numero significativo di centri Tier-2 in accordo al numero di utenti e alla

clusterizzazione della attività italiane.clusterizzazione della attività italiane.



Nell’ultimo anno vi è stata un’accurata attività di referaggio da parte dell’INFN Nell’ultimo anno vi è stata un’accurata attività di referaggio da parte dell’INFN sui siti candidati ad assolvere alla funzioni di Tier-2. Criteri di valutazionesui siti candidati ad assolvere alla funzioni di Tier-2. Criteri di valutazione::

• infrastrutture (già disponibili o richieste) e sinergie con altri progettiinfrastrutture (già disponibili o richieste) e sinergie con altri progetti• gruppi: dimensioni del gruppo, manpaower (tecnici/tecnologi e fisici), gruppi: dimensioni del gruppo, manpaower (tecnici/tecnologi e fisici),

esperienza pregressa in GRID e dimensioni della comunità di riferimentoesperienza pregressa in GRID e dimensioni della comunità di riferimento

L’attività di refereggio ha portato alle seguenti conclusioni:L’attività di refereggio ha portato alle seguenti conclusioni:

Tier-2 approvatiTier-2 approvati• Napoli e Roma1Napoli e Roma1

Tier-2 sub-judice:Tier-2 sub-judice:• MilanoMilano

Proto Tier-2 Proto Tier-2 • FrascatiFrascati

L’upgrading dei siti non ancora approvati è legata al superamento delle eventuali carenze di tipo infrastrutturale o di manpower e soprattutto alla capacità da parte dei Tier-2 di costituire una organizzazione, a livello di federazione, in grado di sfruttare le risorse disponibili nel Tier-1 e nei Tier-2 esistenti.


Suddivisione delle attività in base agli interessi delle comunità di riferimentoSuddivisione delle attività in base agli interessi delle comunità di riferimento

• LNF e Roma1: LNF e Roma1: Muon MDT DetectorMuon MDT Detector Roma1 è uno dei tre siti ATLAS dedicato alle calibrazioniRoma1 è uno dei tre siti ATLAS dedicato alle calibrazioni

• Napoli: Napoli: Muon RPC DetectorMuon RPC Detector• Milano: Milano: Calorimetro e Pixel DetectorsCalorimetro e Pixel Detectors

I canali di fisica scelti per l’analisi sono determinati anche dalle forti I canali di fisica scelti per l’analisi sono determinati anche dalle forti competenze sviluppate nella comprensione degli stati finali leptonicicompetenze sviluppate nella comprensione degli stati finali leptonici

Tutti i Tier-2 italiani di ATLAS hanno comunque continuato e continueranno Tutti i Tier-2 italiani di ATLAS hanno comunque continuato e continueranno a contribuire a tutte le attività di computing della collaborazionea contribuire a tutte le attività di computing della collaborazione..

Risorsedisponibilifine 2006


Tier-2 CPU (kSI2k) Dischi (TB)

Frascati 35 15

Milano 75 23

Napoli 85 28

Roma I 100 33

Totale ~ 300 ~ 100


La produzione in Italia nel 2006La produzione in Italia nel 2006

Atlas Wall Clock Time Italian Region (Jan-Oct 2006) BARI2%

BOLOGNA0%

CAGLIARI0%

CNAF0%

FERRARA0%

FIRENZE2%

FRASCATI1%

LNL8%

MILANO6%

NAPOLI1%

NAPOLI-ATLAS6%

PADOVA5%

PISA0%

ROMA17%TRIESTE

0%

ROMA20%

ROMA30%

SPACI-LECCE0%

SPACI-NAPOLI0%

TORINO2%

T158%

T1

BARI

BOLOGNA

CAGLIARI

CNAF

FERRARA

FIRENZE

FRASCATI

LNL

MILANO

NAPOLI

NAPOLI-ATLAS

PADOVA

PISA

ROMA1

ROMA2

ROMA3

TORINO

TRIESTE

SPACI-LECCE

SPACI-NAPOLI


La produzione La produzione nei Tier-2 nei Tier-2

italiani nel italiani nel 20062006

Uso della CPU in un Tier-2 Uso della CPU in un Tier-2 in termini di CPU e Wall in termini di CPU e Wall TimeTime


La Federazione italiana dei Tier-2La Federazione italiana dei Tier-2

La Federazione include tutti i “flavour” di Tier-2 italianiLa Federazione include tutti i “flavour” di Tier-2 italiani

Compiti della FederazioneCompiti della Federazione::

• Rappresentare univocamente l’insieme dei Tier-2 Rappresentare univocamente l’insieme dei Tier-2 • Facilitare l’interfaccia con LCG, ATLAS Grid, INFN GridFacilitare l’interfaccia con LCG, ATLAS Grid, INFN Grid• Facilitare l’accesso alle risorse comuni dei Tier-2 agli utenti (in media 30-40 Facilitare l’accesso alle risorse comuni dei Tier-2 agli utenti (in media 30-40 per sito di cui 30-60% remoti)per sito di cui 30-60% remoti)

• tutorial dei tool di gridtutorial dei tool di grid• definizioni dei datasets da replicare nei siti di interesse per le analisi che definizioni dei datasets da replicare nei siti di interesse per le analisi che verranno eseguite in italaverranno eseguite in itala

• Individuare e sviluppare soluzioni e strategie comuniIndividuare e sviluppare soluzioni e strategie comuni• scegliere come implementare il modello d’analisi in italia oppure il tipo di scegliere come implementare il modello d’analisi in italia oppure il tipo di storage system o di monitoring locale da usarestorage system o di monitoring locale da usare

• Organizzare le attività di Computing Operation di ATLAS quando i Tier-2 sono Organizzare le attività di Computing Operation di ATLAS quando i Tier-2 sono coinvolti (in aiuto al “Grid Area Coordinator”)coinvolti (in aiuto al “Grid Area Coordinator”)

• attività di produzione con ProdSysattività di produzione con ProdSys• organizzazione dei trasferimenti di dati in Italiaorganizzazione dei trasferimenti di dati in Italia• organizzazione dei Service Challange e Functional Testsorganizzazione dei Service Challange e Functional Tests


I Service Challenge (Tier-2 view)I Service Challenge (Tier-2 view)

I Tier-2 italiani hanno preso parte ai challenge del Computing Operation di I Tier-2 italiani hanno preso parte ai challenge del Computing Operation di ATLAS: il Service Challenge (SC4) di Giugno 2006 e il Functional Test di ATLAS: il Service Challenge (SC4) di Giugno 2006 e il Functional Test di Ottobre 2006: trasferimento dati Tier-0 Ottobre 2006: trasferimento dati Tier-0 Tier-1 Tier-1 Tier-2 Tier-2 • test di sistema usando il sistema di produzione per generare i dati e il test di sistema usando il sistema di produzione per generare i dati e il sistema di distribuzione per trasmettere, controllare e monitorare il data sistema di distribuzione per trasmettere, controllare e monitorare il data flow.flow.• I Tier-2 coinvolti hanno ricevuto dal Tier-1 della propria I Tier-2 coinvolti hanno ricevuto dal Tier-1 della propria cloud cloud un set un set completo di (completo di (fake) fake) AOD corrispondente a un rate di 20 MB/s. Test del AOD corrispondente a un rate di 20 MB/s. Test del meccanismo di sottoscrizione dai Tier-2 al Tier-1 e viceversameccanismo di sottoscrizione dai Tier-2 al Tier-1 e viceversa• I Tier-2 e la I Tier-2 e la cloud cloud italiana in complesso hanno risposto positivamente al italiana in complesso hanno risposto positivamente al challenge challenge (non è stata necessaria la partecipazione ai testi di Novembre)(non è stata necessaria la partecipazione ai testi di Novembre)


Piano di sviluppo Piano di sviluppo delle risorse per il delle risorse per il

computing di ATLAScomputing di ATLAS


year energyluminosit

yphysics beam time

20072007450+450 450+450

GeVGeV5x105x103030

protons - 26 days at 30%

overall efficiency 0.7*106 seconds

20082008 7+7 TeV7+7 TeV 0.5x100.5x103333

protons - starting beginning July 4*106 seconds

ions - end of run - 5 days at 50%

overall efficiency 0.2*106 seconds

20092009 7+7 TeV7+7 TeV 1x101x103333protons:50% better than 2008 6*106 seconds

ions: 20 days at 50% efficiency 106 seconds

20102010 7+7 TeV7+7 TeV 1x101x103434

TDR targets:

protons: 107 seconds

ions: 106 seconds

Schedula di LHCSchedula di LHC

Il calcolo delle nuove risorse di calcolo tiene conto della schedula di Il calcolo delle nuove risorse di calcolo tiene conto della schedula di LHC per i primi anni di operazioneLHC per i primi anni di operazione


Produzioni CSC nel 2006-2007Produzioni CSC nel 2006-2007

Produzione di eventi CSC iniziata partendo dai canali che non hanno Produzione di eventi CSC iniziata partendo dai canali che non hanno

bisogno della release 13. Aumento graduale della capacità di bisogno della release 13. Aumento graduale della capacità di

produzioneproduzione

• Q4 – 2006: 20 M eventi in 2 mesi (2 M eventi/settimana)Q4 – 2006: 20 M eventi in 2 mesi (2 M eventi/settimana)



• Regime – 2008: 30% dei dati reali (60 Hz o 20 M eventi/settimana)Regime – 2008: 30% dei dati reali (60 Hz o 20 M eventi/settimana)

Capacità totale necessaria per le (sole) produzioni CSCCapacità totale necessaria per le (sole) produzioni CSC

• Q4 – 2006: 3.25 MSI2k CPU, 44 TB disco, 120 TB nastroQ4 – 2006: 3.25 MSI2k CPU, 44 TB disco, 120 TB nastro

• Q1 – 2007: 4.35 MSI2k CPU, 88 TB disco, 128 TB nastroQ1 – 2007: 4.35 MSI2k CPU, 88 TB disco, 128 TB nastro

• Q2 – 2007: 8,65 MSI2k CPU, 176 TB disco, 256 TB nastroQ2 – 2007: 8,65 MSI2k CPU, 176 TB disco, 256 TB nastro

Contributo italiano intorno al 10% di CPU e disco per la produzione e Contributo italiano intorno al 10% di CPU e disco per la produzione e

10% del disco sia al Tier-1 che alla somma dei Tier-2 per il set completo 10% del disco sia al Tier-1 che alla somma dei Tier-2 per il set completo

di AOD.di AOD. storage di disco additivo, da aggiungere a quello gia’ utilizzato per i dati storage di disco additivo, da aggiungere a quello gia’ utilizzato per i dati

esistentiesistenti


CPU (MSI2k) Disk (PB) Tape (PB)

Tier-0 3.7 0.15 2.4

CAF 2.1 1.0 0.4

Somma dei Tier-1s

18.1 9.9 7.7

Somma dei Tier-2s

17.5 7.7 0.0

Risorse necessarie per il 2008Risorse necessarie per il 2008

Ricostruzione al Tier-0 Re-processing ai (10) Tier-1s

Simulazione Monte Carlo e Analisi ai (30-40) Tier-2s Full simulation del ~30% dei dati


New T2 Evolution

0

10000

20000

30000

40000

50000

60000

70000

80000

90000

100000

Disk (TB)

CPU (kSI2k)

Disk (TB) 1259.040486 7744.368955 13112.03563 22132.30423 31091.45139 40050.91999

CPU (kSI2k) 2336.108333 17494.50644 26972.75589 51544.63737 69128.41886 86712.20034

2007 2008 2009 2010 2011 2012

Sviluppo delle risorse per i Tier-2Sviluppo delle risorse per i Tier-2

Tier 2 ratio to TDR

0

0.2

0.4

0.6

0.8

1

1.2

2007 2008 2009 2010 2011 2012

Year

Now

/Rati

o

Disk ratio to TDR

CPu ratio to TDR

443,13,12,22,21,31,30,80,8Disco (PB)Disco (PB)

8,78,76,96,95,15,12,72,71,71,7CPU (MSI2k)CPU (MSI2k)

2012201220112011201020102009200920082008 Tier-2 ITATier-2 ITA


ConclusioniConclusioni

Il Computing Model di ATLAS sta per assumere una fisionomia consolidata.I prossimi mesi vedranno la definizione di alcuni punti ancora aperti (ddm, schema di analisi distribuita …) e soprattutto i test in larga scala dei CSC e CDC.Confidiamo di arrivare in tempo e “in forma”alla presa dati

Punto dei vista dei Tier-2 italiani:La Federazione dovrà garantire la partecipazione efficace dei siti a tutte le attività di Computing Operation di ATLAS e soprattuttopermettere in tempi molto brevi a tutti gli utenti un accesso facile

ed efficiente alle risorse dei Tier-2 e alla Griglia in generale

Le attività di training previste nei prossimi mesi e gli esercizi di analisi distribuita del CSC permetteranno di raggiungere tale scopo

Software Computing & Challenges nei Tier 2 - ATLAS - Gianpaolo Carlino INFN Napoli IV Workshop ATLAS...

Documents

Transcript of Software Computing & Challenges nei Tier 2 - ATLAS - Gianpaolo Carlino INFN Napoli IV Workshop ATLAS...