Stato del Tier2 di Atlas a NapoliStato del Tier2 di Atlas a NapoliStato del Tier2 di Atlas a NapoliStato del Tier2 di Atlas a Napoli

•Il ruolo dei Tier2 in Atlas•La Federazione Italiana dei Tier2•Il Tier2 di Napoli

Napoli, 21 Dicembre 2006 – A.Doria

Il Modello a TierIl Modello a Tier

Tier-0 (CERN)Tier-0 (CERN)• Archivio dei RAW data ricevuti dall’EF e distribuzione ai Tier1 Archivio dei RAW data ricevuti dall’EF e distribuzione ai Tier1 • Prompt Reconstruction Prompt Reconstruction • Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1

Il modello generale di calcolo per l’offline e l’analisi di ATLAS è quello gerarchico multi-Tier.

Event Builder

Event Filter

Tier3

10 GB/s

320 MB/s

~ 150 MB/s ~10~10

~50 Mb/s

~PB/s

Tier2 ~3-4/~3-4/Tier1Tier1

Tier0

Tier1

Tier-1 (10)Tier-1 (10)• Accesso a lungo termine e archivio di un subset di RAW dataAccesso a lungo termine e archivio di un subset di RAW data• Copia dei RAW data di un altro Tier-1Copia dei RAW data di un altro Tier-1• Reprocessing della ricostruzione dei propri RAW data con parametri di Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 • Archivio dati simulati MC prodotti nei Tier-2Archivio dati simulati MC prodotti nei Tier-2

Tier-2 Tier-2 • Simulazione Monte Carlo Simulazione Monte Carlo • AnalisiAnalisi

Il Modello a Il Modello a cloud cloud prevede 3 o 4 Tier-2 per ogni Tier-1, prevede 3 o 4 Tier-2 per ogni Tier-1, secondo una distribuzione geograficasecondo una distribuzione geografica

Ruolo dei Tier-2 previsto nell’ ATLAS computing model:Ruolo dei Tier-2 previsto nell’ ATLAS computing model: Simulazione Monte CarloSimulazione Monte Carlo Analisi dei gruppi di Fisica e degli end-userAnalisi dei gruppi di Fisica e degli end-user Calibrazione e allineamento per subdetectors di interesse localeCalibrazione e allineamento per subdetectors di interesse locale

Dati da ospitare:Dati da ospitare: Copia completa nei Tier-2 della Copia completa nei Tier-2 della cloud cloud degli degli AODAOD ((Analysis Object DataAnalysis Object Data:

rappresentazione ridotta degli eventi per l’analisi: oggetti “fisici” ricostruiti)rappresentazione ridotta degli eventi per l’analisi: oggetti “fisici” ricostruiti) di dati reali (~200 TB/anno) e Monte Carlo (~60 TB/anno, 30%) . di dati reali (~200 TB/anno) e Monte Carlo (~60 TB/anno, 30%) .

Copia completa dei Copia completa dei TAGTAG ((TagTag: informazioni sintetiche per selezione veloce informazioni sintetiche per selezione veloce

degli eventi negli AOD)degli eventi negli AOD) ~2 TB/anno.~2 TB/anno. RAW data e DB per le calibrazioni RAW data e DB per le calibrazioni O O (TB)(TB)

Fino ad ora i Tier-2 hanno assolto pienamente e con buona efficienza Fino ad ora i Tier-2 hanno assolto pienamente e con buona efficienza al ruolo di centri di produzione Monte Carloal ruolo di centri di produzione Monte Carlo

Ruolo dei Tier-2Ruolo dei Tier-2

Sistema di Produzione DistribuitaSistema di Produzione Distribuita

• ATLAS utilizza in maniera estensiva i tool di Grid per le sue produzioni di dati ATLAS utilizza in maniera estensiva i tool di Grid per le sue produzioni di dati simulati. Attivitsimulati. Attivitàà svolta in parallelo con l’analisi distribuita . svolta in parallelo con l’analisi distribuita .

• Necessità di organizzare l’accesso e l’utilizzo delle risorse con un sistema di priorità.Necessità di organizzare l’accesso e l’utilizzo delle risorse con un sistema di priorità.

• ATLAS ha ATLAS ha già svolto numerosi esercizi di produzione distribuita in larga scalagià svolto numerosi esercizi di produzione distribuita in larga scala:• DC1 in 2002-2003, DC2 in 2004, “Rome Production” in 2005DC1 in 2002-2003, DC2 in 2004, “Rome Production” in 2005

Numerosi decine di milioni di eventi completamente simulati e ricostruitiNumerosi decine di milioni di eventi completamente simulati e ricostruiti• CSC (Computing System Commissioning) nel 2006 e 2007 CSC (Computing System Commissioning) nel 2006 e 2007

• DC2 e “Rome production” sono stati interamente eseguiti sulla GridDC2 e “Rome production” sono stati interamente eseguiti sulla Grid

• Uso di 3 Grid MondialiUso di 3 Grid Mondiali• LCG (= EGEE): Europa• OSG/Grid3 (US): America• NorduGrid: Nord Europa

• I file di input e output devono essere accessibili da tutte le Griglie.I file di input e output devono essere accessibili da tutte le Griglie.• É stato sviluppato un sistema di produzione distribuita (É stato sviluppato un sistema di produzione distribuita (ProdsysProdsys), interfacciato a ), interfacciato a

tutte le Grid, in grado di individuare le risorse ottimali e di gestire i fallimenti.tutte le Grid, in grado di individuare le risorse ottimali e di gestire i fallimenti.

Number of sites;resourcesare evolving quickly

ATLA

S D

C2

Aut

umn

2004

Il Sistema a 3 GriglieIl Sistema a 3 Griglie

Distributed Data Management ModelDistributed Data Management Model

Il sistema di Distributed Management (DDM) di ATLAS, Il sistema di Distributed Management (DDM) di ATLAS, Don Quijote, Don Quijote, permette permette l’implementazione delle funzionalita’ previste dal Computing Model:l’implementazione delle funzionalita’ previste dal Computing Model:

• Distribuzione di dati raw e ricostruiti, reali e simulati, tra i vari TierDistribuzione di dati raw e ricostruiti, reali e simulati, tra i vari Tier• Catalogazione dei Catalogazione dei dataset (aggregazione di file e relativi metadata)dataset (aggregazione di file e relativi metadata)

Il sistema, ridisegnato nel 2005 e in alcune sue parti ancora in fase prototipale, Il sistema, ridisegnato nel 2005 e in alcune sue parti ancora in fase prototipale, ha infatti ha infatti un’organizzazione basata sui datasetsun’organizzazione basata sui datasets: • Cataloghi di dataset Cataloghi di dataset centralicentrali, suddivisi in vari DB per facilitare l’accesso, suddivisi in vari DB per facilitare l’accesso

• Dataset Repository, Dataset Content Catalog, Dataset Location Catalog, Dataset Subscription Dataset Repository, Dataset Content Catalog, Dataset Location Catalog, Dataset Subscription CatalogCatalog

• Cataloghi di file Cataloghi di file distribuitidistribuiti nei Tier1 nei Tier1• Non ci sono cataloghi globali di file: il mapping nome logicoNon ci sono cataloghi globali di file: il mapping nome logico nome fisico è fatto localmente sui nome fisico è fatto localmente sui cataloghi localizzati nei Tier-1 che contengono soli i file salvati nella cloud. cataloghi localizzati nei Tier-1 che contengono soli i file salvati nella cloud. LFCLFC (LCG File Catalog) (LCG File Catalog) è il Local Replica Catalogè il Local Replica Catalog

• Sistema di sottoscrizioneSistema di sottoscrizione• Sistema per il trasferimento automatico dei dati. Sistema per il trasferimento automatico dei dati. Ogni sito si sottoscrive a un dataset e le nuove versioni del dataset vengono automaticamente rese Ogni sito si sottoscrive a un dataset e le nuove versioni del dataset vengono automaticamente rese disponibili ad ogni variazionedisponibili ad ogni variazione

Uso delle risorse per l’analisi Uso delle risorse per l’analisi

I Tier-2 ospitano job di analisi sia individuale che di gruppo I Tier-2 ospitano job di analisi sia individuale che di gruppo

Il Computing Model prevede che il 50% delle risorse di CPU siano Il Computing Model prevede che il 50% delle risorse di CPU siano

dedicate all’analsidedicate all’analsi

I Tier-1 possono accogliere job di analisi di gruppoI Tier-1 possono accogliere job di analisi di gruppo

Modello di analisi per ottimizzare l’efficienza del processamento dei dati:Modello di analisi per ottimizzare l’efficienza del processamento dei dati:

1.1. Selezione degli eventi da TAG e analisi sugli AOD degli eventi Selezione degli eventi da TAG e analisi sugli AOD degli eventi

selezionatiselezionati

2.2. Determinazione dei siti dove i dati sono memorizzatiDeterminazione dei siti dove i dati sono memorizzati

3.3. Invio in questi siti (tramite Grid tools) dei jobs ed estrazione delle Invio in questi siti (tramite Grid tools) dei jobs ed estrazione delle

informazioni più rilevanti:informazioni più rilevanti:

nella forma di ntuple da usare localmente in modo interattivonella forma di ntuple da usare localmente in modo interattivo

Analisi DistribuitaAnalisi Distribuita

• Il principale scopo del Computing System Commissioning (CSC) è Il principale scopo del Computing System Commissioning (CSC) è di testare e validare le infrastrutture del software e del computing di testare e validare le infrastrutture del software e del computing che saranno utilizzate dal 2007 per l’analisi fisicache saranno utilizzate dal 2007 per l’analisi fisica Procedure di Calibrazione e AllineamentoProcedure di Calibrazione e Allineamento Messa a punto della catena completa di Produzione, Simulazione, Messa a punto della catena completa di Produzione, Simulazione,

Ricostruzione degli eventi e Distribuzione dei DatiRicostruzione degli eventi e Distribuzione dei Dati Accesso distribuito ai dati per l’analisiAccesso distribuito ai dati per l’analisi

Lavoro finalizzato nella prima metLavoro finalizzato nella prima metà del 2007 à del 2007 in una serie di note (CSC notes)in una serie di note (CSC notes) Lo scopo non è quello di scrivere delle note ma di rendere l’intero Lo scopo non è quello di scrivere delle note ma di rendere l’intero

sistema funzionante e operativo per il data taking sistema funzionante e operativo per il data taking Sinergia tra attività di software/computing, studio di performances & Sinergia tra attività di software/computing, studio di performances &

analisi per evitare duplicazioni e creare integrazioni tra i gruppianalisi per evitare duplicazioni e creare integrazioni tra i gruppi Sono stati definiti circa 100 argomenti fra performances e studi di fisicaSono stati definiti circa 100 argomenti fra performances e studi di fisica 13 note con editore italiano (Michela Biglietti editor della nota sulla 13 note con editore italiano (Michela Biglietti editor della nota sulla

Trigger Muon Slice)Trigger Muon Slice)

Il Computing System CommissioningIl Computing System Commissioning

Produzioni nel 2006Produzioni nel 2006

•Il CSC durante il 2006 è stata più Il CSC durante il 2006 è stata più che altro un’ operazione di che altro un’ operazione di produzione continua produzione continua

50 M eventi di fisica e 50 M eventi di fisica e particelle singole prodotti in 6 particelle singole prodotti in 6 mesi;mesi;

Il CSC nel 2007 è basato sulla Il CSC nel 2007 è basato sulla

produzione di eventi produzione di eventi

corrispondenti ai primi 100 pbcorrispondenti ai primi 100 pb-1-1 di di

dati: dati:

40 M eventi nel primo 40 M eventi nel primo

trimestre 2007trimestre 2007

I Tier-2 italianiI Tier-2 italiani

Nell’ultimo anno vi è stata un’accurata attività di referaggio da parte dell’INFN sui siti Nell’ultimo anno vi è stata un’accurata attività di referaggio da parte dell’INFN sui siti candidati ad assolvere alla funzioni di Tier-2. Criteri di valutazionecandidati ad assolvere alla funzioni di Tier-2. Criteri di valutazione::

• infrastrutture (già disponibili o richieste) e sinergie con altri progettiinfrastrutture (già disponibili o richieste) e sinergie con altri progetti• gruppi: dimensioni del gruppo, manpaower (tecnici/tecnologi e fisici), esperienza gruppi: dimensioni del gruppo, manpaower (tecnici/tecnologi e fisici), esperienza

pregressa in GRID e dimensioni della comunità di riferimentopregressa in GRID e dimensioni della comunità di riferimento

L’attività di refereggio ha portato in Marzo 2006 alle seguenti conclusioni:L’attività di refereggio ha portato in Marzo 2006 alle seguenti conclusioni:

Tier-2 approvatiTier-2 approvati• Napoli e Roma1Napoli e Roma1

Tier-2 sub-judice:Tier-2 sub-judice:• MilanoMilano

Proto Tier-2 Proto Tier-2 • FrascatiFrascati

L’upgrading dei siti non ancora approvati è legata al superamento delle eventuali carenze di tipo infrastrutturale o di manpower e soprattutto alla capacità da parte dei Tier-2 di costituire una organizzazione, a livello di federazione, in grado di sfruttare le risorse disponibili nel Tier-1 e nei Tier-2 esistenti.

La Federazione italiana dei Tier-2La Federazione italiana dei Tier-2

La Federazione include tutti i “flavour” di Tier-2 italianiLa Federazione include tutti i “flavour” di Tier-2 italiani

Compiti della FederazioneCompiti della Federazione::

• Rappresentare univocamente l’insieme dei Tier-2 Rappresentare univocamente l’insieme dei Tier-2 • Facilitare l’interfaccia con LCG, ATLAS Grid, INFN GridFacilitare l’interfaccia con LCG, ATLAS Grid, INFN Grid• Facilitare l’accesso alle risorse comuni dei Tier-2 agli utenti (in media 30-40 per sito di cui Facilitare l’accesso alle risorse comuni dei Tier-2 agli utenti (in media 30-40 per sito di cui 30-60% remoti)30-60% remoti)

• tutorial dei tool di gridtutorial dei tool di grid• definizioni dei datasets da replicare nei siti di interesse per le analisi che verranno definizioni dei datasets da replicare nei siti di interesse per le analisi che verranno eseguite in italiaeseguite in italia

• Individuare e sviluppare soluzioni e strategie comuniIndividuare e sviluppare soluzioni e strategie comuni• scegliere come implementare il modello d’analisi in italia oppure il tipo di storage scegliere come implementare il modello d’analisi in italia oppure il tipo di storage system o di monitoring locale da usaresystem o di monitoring locale da usare

• Organizzare le attività di Computing Operation di ATLAS quando i Tier-2 sono coinvolti (in Organizzare le attività di Computing Operation di ATLAS quando i Tier-2 sono coinvolti (in aiuto al “Grid Area Coordinator”)aiuto al “Grid Area Coordinator”)

• attività di produzione con ProdSysattività di produzione con ProdSys• organizzazione dei trasferimenti di dati in Italiaorganizzazione dei trasferimenti di dati in Italia• organizzazione dei Service Challange e Functional Testsorganizzazione dei Service Challange e Functional Tests

I Service Challenge (Tier-2 view)I Service Challenge (Tier-2 view)

I Tier-2 italiani hanno preso parte ai challenge del Computing Operation di ATLAS: il I Tier-2 italiani hanno preso parte ai challenge del Computing Operation di ATLAS: il Service Challenge (SC4) di Giugno 2006 e il Functional Test di Ottobre 2006: Service Challenge (SC4) di Giugno 2006 e il Functional Test di Ottobre 2006: trasferimento dati Tier-0 trasferimento dati Tier-0 Tier-1 Tier-1 Tier-2 Tier-2 • test di sistema usando il sistema di produzione per generare i dati e il sistema di test di sistema usando il sistema di produzione per generare i dati e il sistema di distribuzione per trasmettere, controllare e monitorare il data flow.distribuzione per trasmettere, controllare e monitorare il data flow.• I Tier-2 coinvolti hanno ricevuto dal Tier-1 della propria I Tier-2 coinvolti hanno ricevuto dal Tier-1 della propria cloud cloud un set completo di un set completo di ((fake) fake) AOD corrispondente a un rate di 20 MB/s. Test del meccanismo di sottoscrizione AOD corrispondente a un rate di 20 MB/s. Test del meccanismo di sottoscrizione dai Tier-2 al Tier-1 e viceversadai Tier-2 al Tier-1 e viceversa• I Tier-2 e la I Tier-2 e la cloud cloud italiana in complesso hanno risposto positivamente al challenge italiana in complesso hanno risposto positivamente al challenge (non è stata necessaria la partecipazione ai testi di Novembre)(non è stata necessaria la partecipazione ai testi di Novembre)

Il Tier-2 di Napoli - AttivitàIl Tier-2 di Napoli - Attività

• Simulazione dati Montecarlo

• Partecipazione al team produzione (shift di controllo, circa 1 settimana al mese)

• Monitoraggio del funzionamento dei Tier2 Italiani

• Trigger Muon Slice:

• Produzione di Muoni Singoli (10 M di eventi già prodotti da noi nel 2006 con la rel 11, 10M da produrre a gennaio con la nuove release nel sistema centrale Prodsys)

•Studio delle performance per le note CSC

•Attività di analisi:

• Ricerca della Supersimmetria usando i tool di analisi distribuita (GANGA) che sono ancora in fase prototipale.

• Feedback agli sviluppatori

•Calibrazione degli RPC e del Trigger LVL1

• uso della stream di calibrazione dei muoni

La produzione in Italia nel 2006La produzione in Italia nel 2006

Atlas Wall Clock Time Italian Region (Jan-Oct 2006) BARI2%

BOLOGNA0%

CAGLIARI0%

CNAF0%

FERRARA0%

FIRENZE2%

FRASCATI1%

LNL8%

MILANO6%

NAPOLI1%

NAPOLI-ATLAS6%

PADOVA5%

PISA0%

ROMA17%TRIESTE

0%

ROMA20%

ROMA30%

SPACI-LECCE0%

SPACI-NAPOLI0%

TORINO2%

T158%

T1

BARI

BOLOGNA

CAGLIARI

CNAF

FERRARA

FIRENZE

FRASCATI

LNL

MILANO

NAPOLI

NAPOLI-ATLAS

PADOVA

PISA

ROMA1

ROMA2

ROMA3

TORINO

TRIESTE

SPACI-LECCE

SPACI-NAPOLI

Esempio di uso del Tier-Esempio di uso del Tier-2 di Napoli in termini di 2 di Napoli in termini di CPU time e Wall TimeCPU time e Wall Time

Prototipo SCoPE e Tier-2 ATLASPrototipo SCoPE e Tier-2 ATLAS

PC1PC1Monitoraggio ambientale (T, HV, UPS)

PC3PC3HW Monitoring(Operating Systems)

PC2PC2SW Monitoring(servers, storage)

PC4PC4GRID Monitoring(infrastruttura, servizi)

High level GUI DataBase

Backup system

UPS 60 kVA

8 biproc. dual core

Rack Rittal + CMC Unit

7 biproc. dual core

21 TB

LOCALE TIER-2 ATLAS

Rack Rittal + CMC Unit

CHILLERLocali o spazi esterni

Rack TIER-2 ATLAS

SIST. ANTINCENDIO

PRESENTER 42”

Campus Grid Network

Unità di raffreddamento

switch

switchswitch

Unità di raffreddamento

Rack UNIV. FED II

Last update: 21-12-06

(corsivo = in corso di istallazione)

CISCO 3750

1 Gb/s

1 Gb/s

NAS

SERVER

+ altri 2 Rack aggiuntivi

GRUPPO ELETTRO

GENO UniNA

LOCALI

S.C.R.

Locali PON SCoPE

Risorse del Tier2 di Napoli.Risorse del Tier2 di Napoli.Risorse del Tier2 di Napoli.Risorse del Tier2 di Napoli.

• Già installate, da spostare nei nuovi rack:

• 7 biprocessori Xeon 2.4 GHz;• 11 biprocessori Dual Opteron 252 (10 nodi di calcolo + 1 CE);• sistema di storage SATA, costituito da un server con 8 TB raw di disco interno (5.5 TB netti, pieni al 96 %)• 1 server per l’accounting dell’uso delle risorse• 1 server SRM (Storage Resource Manager) come front end per l’accesso alle risorse di storage del sito

• Nuovi acquisti, da installare a Gennaio:

• 1 cestello con 7 biprocessori Xeon 5110, dual-core di tipo blade.

• sistema di storage IBM con tecnologia Fibre Channel costituito da 2 server che gestiscono 21 TB di storage raw,

Le Connessioni di ReteLe Connessioni di ReteLe Connessioni di ReteLe Connessioni di Rete

LAN INFN

1 Gbps

1 Gbps1 Gbps

1 Gbps

2 x1Gbps

100/200 Mbps

10 Gbps

1 Gbps

10 Gbps

1 Gbps

N x1 Gbps

2.5 GbpsCampus Grid

GARR

MAN UNINA

Siti Campus Grid

Tier 2Pon Unina

da 11/06

da 11/06

Il sistema di condizionamentoIl sistema di condizionamentoIl sistema di condizionamentoIl sistema di condizionamento

Abbiamo seguito le linee guida dell’INFN per la realizzazione di sistemi di condizionamento e valutato le soluzioni proposte da varie ditte. Convergenza verso una tipologia mista per entrambe le sedi del Tier2:

• Raffreddamento delle materiale informatico: • Sistema basato sull’uso di rack autocondizionati (con impatto termico sull’ambiente circostante nullo) con interscambio aria-acqua. Permette di semplificare il sistema di condizionamento ambientale per la sala calcolo, richiedendo solo la realizzazione di apposite canalizzazioni per il trasporto dell'acqua fredda in ingresso ai rack e di acqua calda in uscita.

• Trattamento dell’aria nella sala: • Sistema basato su Unità Trattamento Aria ad acqua per garantire i corretti valori di temperatura (~22°) e UR (~50%).

Carichi termici per i Tier2:

• Potenza massima dissipata per rack: 15 KW per 40U di biprocessori e 20 KW per sistemi blade• Potenza dissipata per rack di unità disco: 6 kW per 40U occupate

La soluzione RITTAL LCPLa soluzione RITTAL LCPLa soluzione RITTAL LCPLa soluzione RITTAL LCP

Sistema di raffreddamento ad alte prestazioni ad acqua per l’asportazione di elevati carichi di calore indipendente dalla temperatura dell’ambiente circostante e utilizzabile quindi anche in ambienti ristretti (sala Tier2) e non climatizzati da impianti di raffreddamento esterni. Il calore dai rack è infatti rimosso con l’acqua e non è rigettato nell’ambiente circostante

Ad ogni rack (di dimensioni 2×1 m) viene affiancato un enclosure per il raffreddamento, il “Liquid Cooling Package”, (di dimensioni 2 ×1 × 0.3 m e peso totale di circa 200 kg) dotato di max 3 moduli scambiatori di calore acqua/aria indipendenti (modularità).

Impegni principali per il 2007Impegni principali per il 2007Impegni principali per il 2007Impegni principali per il 2007

Oltre alle attività già esposte relative al Computing System Computing System CommissioningCommissioning ed agli studi di Supersimmetria, molti altri impegni sono previsti per il 2007:

•Garantire il funzionamento locale: • Implementare un sistema che permetta il monitoraggio on-line del funzionamento delle farm, sia come hw che come servizi sw. • Conservare i dati relativi a questo monitoring, per poterli esaminare nel tempo.• Perfezionare i meccanismi di condivisione delle risorse.

• Contribuire al funzionamento generale della grid di Atlas:• ampliare la partecipazione agli shift di produzione, con maggiori responsabilità• Iniziare un servizio di supporto agli utenti “esterni” del Tier2• contribuire attivamente agli scopi della federazione, in particolare per la parte relativa al monitoraggio dei servizi dei Tier italiani.

• TROUBLESHOOTING!