ATLAS High Level Trigger/DAQ
description
Transcript of ATLAS High Level Trigger/DAQ
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
ATLAS High Level Trigger/DAQ
S.Falciano - INFN Roma1
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
La presentazione è rivolta essenzialmente ad illustrare il piano finanziario 2004-2009 del sistema HLT/DAQ di ATLAS, discusso con i Referee della CSN1 negli ultimi mesi (se ne chiede l’approvazione in vista del RRB di Aprile).
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Outline• Breve riassunto delle caratteristiche del TDAQ di ATLAS :
rates, bandwidth, performance, etc. • Criteri che hanno portato al disegno attuale : TDR “Baseline
architecture”• Scenari di LHC per lavorare per il TDR -> Trigger menu• Cosa è cambiato
• Presentazione del piano di spesa HLT/DAQ • “Baseline architecture” e Costi Globali• Piano finananziario CORE proposto per l’INFN
– Addendum al MoU per il RRB del 26 Aprile 2004• Problema dei “deferrals” e documenti disponibili
• Risposte alle domande dei Referee• Meeting telefonico del 20 febbraio 2004• Incontro del 16 e 17 marzo 2004
• Aggiornamento sul piano di lavoro per il 2004• Conclusioni
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
ATLAS Trigger / DAQ Architecture
Level 1
Level 2
Event Filter
Detectors
Front-endPipelines
ReadoutBuffers
EventBuilder
Buffers &ProcessingFarms
DataStorage
Readout Drivers
RoI PointersRoI Pointers
1 GHz interaction rate /
<75 (100) kHz
O(1) kHz output rate
O(100) Hz output rate
2s latency
O(10) ms latency
~ seconds latency
40 MHz bunch-crossing rate
HLTHLT
LVL2 Region-of-
Interest (RoIRoI) concept Specialized algorithms Fast selection with
early rejection
EF Full event available Offline derived algorithms Seeding by LVL2 Best calibration /
alignment Latency less demanding
LVL1 Hardware based
(FPGA and ASIC) Coarse calorimeter
granularity Trigger muon
detectors
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
DATAFLOW
EB
ROSH
L
T
LVL1
DE
T RO
ROD
LVL2
Trigger DAQARCHITECTURE
2.5
s
~ 10 ms
40 MHz
75 kHz
~2 kHz
~ 200 Hz
Calo MuTrCh Other detectors
SFI
SFO
EBN
EFN
FE Pipelines
Read-Out Drivers
Read-Out Sub-systems
Dataflow Manager
Sub-Farm Input
Sub-Farm Output
Event Filter N/work
ROIB
L2P
L2SV
L2N
Event Filter
DFM
EFPEFP
EFPEFP
RoI Builder
L2 SupervisorL2 N/work
L2 Proc Unit
RoI
RoI data = 1-2%
RoI requests
Lvl2 acc = ~2 kHz
Event Building N/work~ sec
Lvl1 acc = 75 kHz
40 MHz
120 GB/s
~ 300 MB/s
~2+4 GB/s
Event FilterProcessors
120 GB/s
~4
GB
/s
EFacc = ~0.2 kHz
Read-Out Buffers
Read-Out Links
ROB
ROB
ROB
Event Builder
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Strategia di selezione online degli eventi (1)
Il trigger di ATLAS si basa sul concetto di “physics objects” (muoni, elettroni, jet, …)
Oggetti “candidati” sono tipicamente identificati prima al LVL1 dove si ricostruiscono localmente (Calorimetri e Spettrometro per Muoni)
Gli HLT raffinano la ricostruzione, rigettano i “fake” e migliorano la precisione sui parametri misurati dell’oggetto (pT, …)
Gli oggetti vengono ricostruiti sia a livello di singolo rivelatore (come nel LVL1) sia attraverso una ricostruzione combinata di più rivelatori (HLT)
Gli oggetti vengono combinati insieme (Trigger menus) per formare delle “ipotesi di fisica”.
La derivazione dei Trigger Menus e delle soglie parte da un’analisi dei requirements di fisica, seguita da una verifica della capacità di reiezione ai vari livelli e infine prende in considerazione stime della bandwidth totale disponibile negli HLT (procedura iterativa).
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Strategia di selezione online degli eventi (2)
• Differenti Trigger Menus sono previsti per il programma iniziale alla luminosità di picco di 2x1033 cm-1s-1 :
• Inclusive physics triggers : formano il bulk della selezione online e sono scelti per garantire la copertura di gran parte del programma di fisica
• Pre-scaled physics trigger : estendono la copertura del programma di fisica di Atlas includendo selezioni inclusive con soglie più basse al fine di allargare i sample di eventi utili per lo studio del fondo e delle performance dei rivelatori.
• Exclusive physics triggers : estendono anche essi la copertura del programma di fisica.
• Dedicated monitor & calibration triggers
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Gli scenari per lo “start-up” di LHC (2002)
• Fino al 2001 (base per l’elaborazione del TP per HLT/DAQ/DCS)– 3 anni a 1x1033 “low luminosity”– più anni a 1034 “design luminosity”
• Approccio semplificato, ma ipotesi di lavoro stabili
• Nel 2001 e 2002 :– Nuovi scenari proposti a ritmi sempre più frequenti
• Scenario di Ottobre 2002 (LHCC minutes, R. Cashmore note)– Statistica: ~10 fb-1 ottenibili dal primo run di fisica– Durata: ~200 giorni di presa dati– Duty cycle: ~60% (14 h di durata di un fill, 10 h per
refill)– Luminosità: 2x1033
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
LVL1 Trigger menus
Adjusting of some thresholds to obtain similar output rate at 2x1033 as was foreseen at 1x1033
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
HLT rates for 2x1033
SelectionSelection 22101033 33 cmcm-2-2ss-1-1 Rates (Hz)Rates (Hz)
Electron e25i, 2e15i ~40
Photon 60i, 220i ~40
Muon 20i, 210 ~40
Jets j400, 3j165, 4j110 ~25
Jet & ETmiss j70 + xE70 ~20
tau & ETmiss 35 + xE45 ~5
b-physics 26 with mB /mJ/ ~10
Otherspre-scales, calibration, …
~20
Total ~200
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Selection signatures @L = 2·1033 cm-2s-1
Object Examples of physics coverage Nomenclature
ElectronsHiggs (SM, MSSM), new gauge bosons,
extra dimensions, SUSY, W, tope25i, 2e15i
Photons Higgs (SM, MSSM), extra dimensions, SUSY 60, 220i
Muons
Higgs (SM, MSSM), new gauge bosons, extra dimensions, SUSY, W, top
20i, 210
Rare b-decays (BX, BJ(’)X)26 + + - + mass
cut
Jets SUSY, compositeness, resonances j400, 3j165, 4j110
Jet+missing ET SUSY, leptoquarks j70 + xE70
Tau+missing ET Extended Higgs models (e.g. MSSM), SUSY 35i + xE45
+ pre-scaled, monitor, calibration triggers
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Lo scenario di “deferral/staging” (2002)• “Staging” iniziale del detector
– Alcune componenti rilevanti per le trigger performance mancheranno
• layer medio dei pixel, wheels più esterni del TRT, parte dei readout drivers (ROD) del LAr, …
– Significanza ridotta per la scoperta dell’ Higgs leggero (~ -10%) • Compensata da un aumento di ~ 20% di luminosità integrata
– Massima rate al LVL1 di 50 kHz (LAr RODs)• Al TDAQ è stato chiesto nel 2002 cosa succederebbe se si
operassero tagli drastici alle proprie spese per finanziare gli extra-costi dei progetti comuni – Comporterebbe tagli drastici al sistema iniziale di HLT/DAQ
(rimarrebbe solo 1/3- 1/2 del CORE budget)• Rimandare l’acquisto di componenti commerciali di network / processori
– Restringerebbe in maniera severa la capacità di rate/bandwidth• Meno di 1/2 di design rate capability (30-35 kHz peak LVL1 rate)
– limiterebbe la B-physics & metterebbe a rischio parte della fisica di high-pT
• Meno di 1/5 di design rate capability (10-15 kHz peak LVL1 rate )– comporterebbe tagli drastici al programma di fisica di high-pT
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Preparazione del TDR
Si è assunto uno scenario di start-up ed evoluzione di LHC tale che : 2007 – start-up a 2x1033 cm-2 s-1 per un anno 2008 – luminosità nominale di 1x1034 cm-2 s-1
Si è assunto che il piano di spesa dovesse tenere conto del “Completion Plan” di Atlas
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Evoluzione del sistema e staging
• Il sistema TDAQ è stato disegnato tale che dimensioni e performance evolvano in funzione della disponibilità delle risorse. Le performance finali corrispondono ad una trigger rate di Livello-1 di 100 kHz.
• La stima dei costi del TDAQ di ATLAS è basata su un modello dettagliato del numero di componenti in funzione della rate di trigger di Livello-1 (e.g. 37.5 kHz, 75 kHz, 100 kHz).
• Fattori di sicurezza sono applicati soprattutto nel tenere conto delle performance degli HLT (tempo di processamento degli eventi e fattori di reiezione) e del costo di componenti “custom” (come ad esempio i ROBin) e “commerciali” (come ad esempio i processori).
• Si è arrivati a definire un profilo temporale di spesa che è un’evoluzione del sistema a partire dal commissioning del detector fino alla realizzazione di un TDAQ con le sue performance finali
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Part 1 - Global View1. Overview2. Parameters3. System Operations4. Physics selection strategy5. Architecture6. Fault tolerance and error handling7. Monitoring
Part 2 - System Components8. Data-flow9. High-level trigger10. Online Software11. DCS12. Experiment Control
Part 3 - System Performance13. Physics selection and HLT performance14. Overall system performance and validation
Part 4 - Organisation and Plan15. Quality assurance and development process16. Costing17. Organisation and resources18. Workplan and schedule
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
TDR “Baseline architecture”La scelta dell’architettura si è basata sui seguenti criteri :
• La copertura del programma di fisica prevista da ATLAS• L’esistenza di prototipi funzionanti• Misure di “performance” che soddisfano o le specifiche finali di ATLAS o
possono essere tranquillamente estrapolate alle performance richieste sulla scala dei tempi reali (CPU speed dei PC, ….)
• La chiarezza di come evolvere dallo scenario iniziale di set-up ridotto, quale quello utilizzato su testbeam, al sistema completo ad alta luminosità
• Uno scenario dei costi che parte dallo “staged detector” fino al completamento del sistema
• La possibilità di trarre vantaggio dall’evoluzione della tecnologia mentre l’esperimento è in corso
L’architettura proposta potrebbe essere costruita oggi con le tecnologie attuali e raggiungere le performance richieste. Poichè sono previsti avanzamenti significativi nel campo del networking e computing, ciò ci aiuterà a semplificare ulteriormente alcuni aspetti complessi del sistema.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
CERN/LHCC 2003-069/G-067:
‘The LHCC finds both the technology adopted and the procedures proposed for the ATLASHLT/DAQ/DCS to be adequate to achieve thephysics goals stated in the Technical Proposal,and congratulates the ATLAS Collaboration onthe quality of the work presented in the TDR.’
‘The LHCC therefore recommends general approval of the ATLAS HLT/DAQ/DCS TDR.’
Una milestone importante per ATLAS è statala conclusione positiva del processo di review del TDR di HLT/DAQ/Control alla fine del 2003
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Cosa non è cambiato rispetto al TP
• L’architettura TDAQ di Atlas è basata su tre livelli di trigger
• Il primo Livello (LVL1) è un trigger implementato in hardware, il secondo (LVL2) e terzo (Event Filter) sono trigger software
• Il secondo Livello funziona sul concetto di Region-of-Interest
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
• C’è una corrispondenza semplice tra :
region <-> ROB number(s) (per ciascun rivelatore)
-> per ciascuna RoI, i processori di LVL2 possono identificare rapidamente la lista dei ROB con i correspondenti dati di ciascun rivelatore
• Questo meccanismo fornisce un modo potente ed economico per avere un importante fattore di reiezione prima dell’ Event Building completo
4 RoI addresses
==> ATLAS RoI-based Level-2 trigger
… ~ ReadOut network più piccolo di un ordine di grandezza …… al costo di un maggiore
traffico di controllo …
Meccanismo delle RoI - Implementazione
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Level-2 Trigger
Three parameters characterise the RoI-based Level-2 trigger:
the amount of data required : 1-2% of totalthe overall CPU time : 10 ms average
the rejection factor: x 30
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Cosa è cambiato (1)
• L’implementazione della parte di Read-out accoppiata ai Rivelatori : ROS, ReadOut System
– ROD Crate (responsabilità Hw/Sw : Rivelatore)– ROS (responsabilità Hw/Sw : DAQ)
– Nuova implementazione Hw del ROS basata su PC invece che VME
– Nuova implementazione del Sw del ROD Crate (ROD Crate DAQ) ora di responsabilità DAQ. Ciò uniforma la DAQ Locale nel ROD Crate per tutti i Rivelatori (supporto centralizzato per local processing, configurazione, event sampling, etc.)
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
VME bus
•Total number of ROD crates: 90•Total number of ROS PCs : 144•Total number of racks : ~15”==>All in USA15 (underground)
F.E. ElectronicsF.E. Electronics
… ROD Crates
ROD CrateWorkstation
LAN (GbEth.)
GbEth.
… ROS PCs
ROD Fragments
ROB FragmentsROS Fragments
Event Fragments (Detector specific)
L2 & Event Builder NetworksL2 & Event Builder Networks
ROLs
RCD and ROS
… PCI bus
Config & Control
Event sampling & Calibration data
NIC
RO
BIN
RO
BIN
RO
BIN
RCP
ROD
ROD
ROD
ROD
Config & Control
Event sampling & Calibration data
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
The ROBin Prototype
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Cosa è cambiato (2)
• L’ I/O path del ReadOut System (ROS)
– Opzione 1 : Bus Based path (il BUS è il PCI)– Opzione 2 : Switched Based path (GEth)
– La preoccupazione è quella di aggiungere scalabilità al sistema
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
I/O path for Read-Out System
• In TDR (30 June 2003):– “The optimisation of the ROS architecture will be
the subject of post-TDR studies” using a Read-Out Buffer (ROBIN) prototype implementing bus-based (PCI) and switched-based (GEth) I/O paths
• Schedule and milestones to match ATLAS commissioning– ROBIN Final Design Review completed LHCC 31.05.04– Final decision on ROS Input/Output path EB 31.12.03
RO
BIN
S-Links
GbE
PCI bus
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
I/O path for Read-Out System
• On 11 Dec 2003, TDAQ decision was made:Bus-Based (BB) with Switch-Based (SB) as option for increased scalability
– ROBIN : 3 Slink input - PCI and GEth output• Max input retaining max output functionality• High potential for scalability and upgrades
– The baseline implementation of the ROS would be BB with an upgrade path to combined BB and SB I/O or only SBI/O for future upgrades.
Full assessment of the potential of theSB Read-Out will be done as soon aspossible (planning in preparation), so as to be ready with a viable upgradeif and when needed.
PCI bus RO
BIN
RO
BIN
RO
BIN
GbEthernet
L2 & Event Builder NetworksL2 & Event Builder Networks
NIC
Increased
scalability
if/when needed
RO
BIN
S-Links
GbE
PCI bus
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Cosa è cambiato (3)
- Organization & resources
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Contributi italiani al TDR• Studio e validazione delle componenti DAQ
– Data Flow (Data Collection e Event Filter)– Online software (Configurazione, Monitoring, Run Control)– Detector software (ROD Crate DAQ, Data Format, Monitoring)
• Studio e validazione degli HLT– Software framework (Athena)– Algoritmi di livello-2 (Pixel e Muoni)– Algoritmi di filtro e calibrazione ottenuti dai programmi offline (e.g.
MOORE per la ricostruzione e CALIB per la calibrazione dei muoni)– Uso online dello schema di acceso ai dati dei rivelatori e alla loro
geometria secondo l’Event Data Model (definizione e sviluppo software dei formati ByteStream dei dati dei rivelatori utilizzati e della loro definizone ad oggetti, Raw Data Objects utile per gli algoritmi di trigger)
• Contributo alla scrittura e al coordinamento di importanti capitoli del TDR (vedi PESA)
Sono state prodotte dai gruppi italiani o in collaborazione con altri gruppi più di 20 note ATLAS quali documenti di supporto al TDR.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Presentazione del piano di spesa
• L’INFN si era impegnato a dare 3.3 MCHF per il sistema HLT/DAQ.
• Al RRB del 26 Aprile si chiederà all’INFN di mantenere questo impegno a fronte del lavoro svolto dai gruppi italiani e di una definizione abbastanza dettagliata dell’architettura, delle sue componenti e dei suoi costi presentata nel recente TDR.
• A fronte di questa richiesta i gruppi italiani si sono impegnati nella preparazione di un documento che mostra la congruità di questa cifra e presenta una suddivisione in categorie di spesa versus gli impegni della collaborazione.
• Questo documento è stato presentato e discusso prima nel TDAQ Resource Committee (Resource Coordinator + Rappr. delle FAs) e poi presentato ai Referee e al Presidente della CSN1.
• I profili di spesa globali e i finanziamenti delle FAs sono parte integrante dell’Addendum al MoU che verrà presentato al RRB di Aprile.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
New MoU tableHLT/DAQ (Initial
System)
HLT/DAQ funds
required by ATLAS Completio
n Plan
HLT/DAQ Total
HLT/DAQ (Initial
System)
HLT/DAQ funds
required by ATLAS
Completion Plan
HLT/DAQ Total
Armenia Morocco
Australia Netherlands 325 325 650
Austria 300 300 Norway
Azerbaijan Poland 160 160
Belarus Portugal 300 300
Brazil Romania
Canada RussiaChina (NSFC+MST) JINR 100 100
Czech Republic 40 40 Serbia
Denmark 500 500 1000Slovak Republic
France IN2P3 Slovenia
France CEA Spain
Georgia SwedenGermany BMBF 955 840 1795 Switzerland 2000 2000 4000
Germany MPI Taipei
Greece Turkey
Israel 60 60United Kingdom 1110 1110 2220
Italy 1650 1650 3300US DoE + NSF 1983 1983 3965
Japan 750 750 1500 CERN 2950 2950 5900
Total 13183 12108 25290
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
HLT/DAQ system cost profile (unit is kCHF) as published in the
TDRUp to2003
2004 2005 2006 2007 2008 2009 Total
DCS 296 1624 489 294 422 0 0 3125
Pre-series 0 1048 0 0 0 0 0 1048
Detector R/O 0 0 3049 606 0 405 0 4060
LVL2 RoI 0 0 400 230 238 868 16 1752
LVL2 Proc 0 0 0 450 899 1348 899 3596
Event Builder 0 0 100 526 274 910 274 2084
Event Filter 0 0 0 1375 2863 4351 2862 11451
Online 0 0 208 622 0 0 0 830
Infrastructure 0 0 0 508 508 508 508 2032
Total 296 2672 4246 4611 5204 8390 4559 29978
Total (no DCS) 0 1048 3757 4317 4782 8390 4559 26853
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Costi HLT/DAQ
Architettura scalabile-> implementazione ottimale del piano di
deferral dei finanziamenti e di upgrade futuri
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Premessa
• La Collaborazione italiana HLT/DAQ è costituita da 230 membri : 32 di questi sono di istituti italiani (firme TDR) e rappresentano il 14% del totale.
• Consideriamo dunque appropriato un contributo finanziario al progetto proporzionale a questa frazione e infatti 3.3 MCHF rappresentano circa il 14% del costo totale del sistema.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
“Aree di attività” dei gruppi italiani
• Algoritmi di trigger di Livello-2
• Studi di performance del Livello-2 su Testbeds
• Algoritmi di Event Filter
• Studi di performance dell’Event Filter su Testbed e sviluppo dell’Event Filter Data Flow
• DAQ
• Detector Monitoring (anche su EF farm) per Pixel, Lar, Tile, MDT e RPC.
• Trigger Monitoring per LVL1 e HLT
• Detector/TDAQ integration ai Test Beam e nei Test Labs.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Criteri per la selezione di aree funzionali e componenti da finanziare (1)
• L’attività italiana è fortemente Detector-oriented. Il lavoro sui Test Beam ha rafforzato questo concetto poiché diversi step d’integrazione Detector-Readout-TDAQ sono stati portati avanti insieme.
• Il lavoro sui Testbeds per sviluppare e testare prototipi DAQ e HLT è stato per noi molto importante.
• Inoltre l’implementazione di algoritmi di trigger basati sui rivelatori in costruzione in Italia è stata una frazione molto grande della nostra attività.
• Infine va ricordato che l’implementazione della simulazione completa di una slice verticale del trigger di muoni (LVL1-LVL2-EF) è stata possibile anche grazie al lavoro portato avanti nell’INFN sul trigger di muoni di primo livello.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Criteri per la selezione di aree funzionali e componenti da finanziare (2)
• La scelta delle aree da finanziare deve tenere conto di tutto ciò.
• Perciò sembra appropriato finanziare le seguenti categorie di spesa:– Pre-serie (partecipazione ai test di validazione del sistema finale
HLT/DAQ)– Detector Read-Out (Rack based, PC based, un rack contiene 11 PCs,
un local file server, un local switch, un rack controller, power e cooling distribution. Il costo di un rack è di 110 kCHF. Vogliamo finanziare :• 11 ROSes per i Pixel• 16 ROSes per lo Spettrometro a Muoni• 8 ROSes per il TilePer un totale di 5 racks (5 x 110 kCHF = 550 kCHF, 13% del R/O totale).
– Processori di LVL2 e EF (Rack mounted, PC sono Dual-CPUs con Linux, 18% di contributo per il LVL2, 11.4% per l’EF)
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Pre-serie di HLT e DAQ • Include una versione su piccola scala del sistema allo scopo di validare
l’implementazione del TDAQ (e.g. 10% di Detector R/O, 1 switch per LVL2, 1 switch per EF, 2 sub-farm nella loro versione a “rack” di ATLAS e 5% del sistema online)
• Il dimensionamento è stato fatto essenzialmente su criteri di “funzionalità”
• E’ un sistema di dimensioni superiori ai testbed di cui disponiamo attualmente utilizzati per fare sviluppi e misure di performance. All’uopo si possono aggregare i due switch e le due sub-farm per provare solo il LVL2 o solo l’EF in una configurazione più estesa
• Si basa sulle tecnologie finali • Userà il software finale del Data Flow e dell’Online• L’uso previsto è in laboratorio, ma in caso di necessità si potrà utilizzare
per far partire il commissioning del Tile Calorimeter (primo rivelatore ad installarsi)
Richiesta sblocco s.j. a settembre.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Criteri per la selezione di aree funzionali e componenti da finanziare (3)
– EF I/O (gli SFI sono PC come quelli dell’EF, rack mounted. La partecipazione italiana al Data Flow e al Monitoring giustifica un contributo del 13%)
– Online (include le farm di processori per l’Online software, ossia Run_control, inizializzazione, etc. e dovrebbe rappresentare anche la frazione di monitoring dei rivelatori. Proposta di contributo del 20%)
– Infrastruttura – Common items (si considera ragionevole fissare un piccolo fondo per item comuni che difficilmente ricadono nelle categorie precedenti quali licenze software, link al centro di calcolo, etc. Si pensa che esso debba essere di circa il 6% per l’INFN).
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Requested INFN funds for the HLT/DAQ system (unit is kCHF)
TDR ItalyPercentag
e (%)More details on funded items
Pre-series 1048 140 13.4
Detector R/O 4060 550 13.5Detector R/O - ROS racks
only
LVL2 Proc 3596 650 18.1 LVL2 racks
Event Builder 2084 280 13.4 EB - EFIO (SFI, SFO)
Event Filter 11451 1300 11.4 EF racks
Online 830 180 21.7Online racks - Control &
Monitoring
Infrastructure 2032 200 9.8 ~ 6% of total INFN funds
Total 25101 3300 13.1HLT/DAQ (no DCS) is
26853 kCHF
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
2004 2005 2006 2007 2008 2009 Total
Pre-series 140 0 0 0 0 0 140
Detector R/O * 0 275 275 0 0 0 550
LVL2 Proc 0 0 65 195 230 160 650
Event Builder 0 0 50 50 110 70 280
Event Filter 0 0 170 180 570 380 1300
Online 0 45 135 0 0 0 180
Infrastructure 0 0 80 80 20 20 200
INFN Total 140 320 775 505 930 630 3300
TDR Total 1048 3357 4087 4544 7522 4543 25101
INFN Percentage(%) 13.4 9.5 19.0 11.1 12.4 13.9 13.1
INFN cost profile (unit is kCHF) for the chosen categories
(*) The funds for the staged part of the detectors (such as the Pixels) should fall in the year 2008. Therefore they might be subtracted from those of the years 2005-2006, which correspond to the full detector, and moved in 2008.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Documenti disponibili(alla CSN1 e al RRB del 26 aprile 04)
• INFN funds for ATLAS HLT/DAQ– INFN Genova, LNF, Lecce, Napoli, Pavia, Pisa*, Roma1, Roma3
• Addendum to MoU • HLT/DAQ Common Items • ATLAS Agreement N°144/03
– Recognition and Use of the TDAQ Deferral Funding
• HLT/DAQ Funding Profiles• DCS Cost Sharing
* Al momento la Sezione di Pisa non è inclusa nella collaborazione TDAQ.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Infrastructure - “Common Items”
• Documento che stabilisce le regole di spesa degli items di infrastruttura
• Fondi gestiti attraverso un Team account speciale al CERN• Si richiede alle FAs di approvare la spesa• Il TDAQ Resource Coordinator informa le FAs e l’IB sulle
spese del Team.
Approvato all’IB del 25 feb. 2004.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Documento che stabilisceun meccanismo di controllosui “deferral” (agreementtra ATLAS e Funding Agency) :
- Obligations of the Parties- Return of deferred funds to TDAQ (decided by the TDRC, in line with the work plan defined in the TDR and in agreement with the TDIB and ATLAS management).
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Risposte ad alcune domande dei Referee (1)
• Costo di HLT/DAQ del TDR vs MoU
– Saclay e Turchia si sono ritirate portando via
rispettivamente 3.9 MCHF+CFs e 150 kCHF. – Queste mancanze non sono state ripristinate e quindi il
costo inferiore del sistema deve essere riassorbito dalle altre FAs
– I 27000 kCHF sono la somma di 25500 kCHF delle FAs e 1500 kCHF di CFs
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Risposte ad alcune domande dei Referee (4)
• Chiarimenti sui costi del DCS
– Atlas-Italia non contribuisce al DCS centrale.– Il costo del DCS e' rimasto invariato rispetto al passato (1800
kCHF + Common Funds). Poiche' nel TDR sono stati riportati anche i Common Funds allocati al DCS (e non nel capitolo TDAQ del MoU), cio' appare come un aumento.
– In conclusione, la divisione dei fondi per il DCS e', ed e' sempre stata:
CERN 1600. kCHF, NIKHEF 200. kCHF, Common Funds 1325. kCHF.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Risposte ad alcune domande dei Referee (2)
• Criteri per la scelta del profilo temporale di spesa
– Abbiamo disegnato un sistema che evolve in funzione delle risorse disponibili, che va da un sistema iniziale con una rate massima di LVL1 di circa 40 kHz ad uno finale con una rate massima di 100 kHz
2004 : Acquisto e messa in opera della pre-serie fatta con le componenti
finali del TDAQ (commissioning del Tile?)2005 : Inizia il commissioning dei detector e di HLT/DAQ. Ai detector serve il
75% dei Detector Readout.2006 : Commissioning. Run di cosmici.2007 : LHC start-up. 37% circa delle farm HLT disponibili. 37.5 kHz è la rate
di LVL1 sostenibile. Mancano il 25% dei ROD.2008 : LHC alla lminosità nominale, 75 kHz di rate di LVL1. Questo è il
momento in cui cominciano a tornare indietro i deferral.2009 : Sistema completo con le performance per cui è stato disegnato,
ossia rate di LVL1 di 100 kHz.
Nota : nella fase iniziale la priorità viene data agli aspetti DAQ perche’ essi servono per il commissioning del rivelatore, mentre le farm HLT e in particolare il LVL2, vengono dimensionate al minimo.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Workplan and schedule (TDR)
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Risposte ad alcune domande dei Referee (3)
• Stabilità dei costi
– Abbiamo lavorato tenendo conto delle migliori stime, ad oggi, sull’evoluzione dei processori.
– Il progetto GRID e il gruppo Cern di technology tracking ha osservato che il comportamento delle performance dei processori è sotto la curva aspettata.
– Poiché anche i tempi e le modalità di funzionamento della macchina sono indicativi ed esistono incertezze sui tempi di processamento degli eventi, si è scelto di fissare la potenza dei processori a un valore indicativo che rappresenta la media delle prestazioni aspettate nell’intervallo 2006-2009.
– Si è assunto una Dual-CPU (high-end) a 8 GHz al costo indicato nel rapporto GRID del Cern, ossia 4 kCHF. E’ stato applicato un fattore di sicurezza del 30% per tenere conto delle incertezze.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Risposte ad alcune domande dei Referee (5)
• Chiarimenti sui costi M&O-A e Common Items
Nel documento : "Memorandum of Understanding for Maintenance and Operation of
the ATLAS Detector", ATLAS LHC Meeting 14. CERN-RRB-2002-035, CERN 5 April 2002 (disponibile sul web). In esso, all'Annex 9 : Category A Headings for ATLAS M&O, Cost
Categorization, troviamo:
Online Computing (no recording media)System managementData storage, (temporary on disk)Detector controlsComputer/processors/LANsSoftware licencesCommon desktop infrastructure
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Risposte ad alcune domande dei Referee (5 cont)
– La differenza sta nel fatto che i costi dei nostri Common Items sono "costi iniziali", mentre quelli di M&O-A sono "costi ricorrenti", ossia le possibili integrazioni/sostituzioni/update/etc. che saranno sicuramente necessarie per il sistema.
– I fondi M&O non possono essere utilizzati per comprare inizialmente un sistema o una parte di esso, ma servono per mantenerlo funzionante nel tempo con le stesse prestazioni.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Programmi di HLT/DAQ nel 2004
• ROD Crate DAQ per tutti i rivelatori (H8 e Commissioning)• Integrazione completa di tutte le componenti del LVL1 ad H8
(Muon+MUCTPI, Calo, CTP)• Integrazione del LVL2 e EF nel Test Beam Combinato ad H8• Integrazione ad H8 di LVL1+LVL2+EF con elx dei rivelatori e il DAQ;
run a 25 ns con trigger di primo livello generato dall’elettronica che funzionerà in ATLAS (LVL1 Calo+Muon + CTP) (“pipelined” mode).
• Test finali in laboratorio utilizzando la pre-serie.
In parallelo :• Sviluppi degli algoritmi di trigger per Muoni (Muon Slice) e Pixel• Studi di Trigger Performance (rates, capacità di reiezione del fondo,
etc.)
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
GE data switch
SBC
SLink
CDR
FE ctrl switch
ROS PCCERNnet
OnlWS
Tilecal
ROD
SFIO PCDFM
CBTB
Tilecal Combined
ROD
SBC
ADC
TIMID
TDC
ROS PC
SBC
ADC
TDC
SLink
SLink
LASERCrate
CommonCaloCrate
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Timing, Trigger, Control (TTC)
ROD_BUSY LTP
Central Trigger Processor (CTP)
Timing, Trigger, Control (TTC)
ROD_BUSY LTP
Beam Pick-ups:Filled-bunch signal
Endcap trigger
Interaction-trigger signal (if available)
LHC machine:Clock, Orbit
Calorimeter trigger
DAQ
LVL2
MUCTPI
Barrel trigger
LVL1: Muon + Calo + CTP
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Combined Test Beam Readout (DAQ)
RCC
ROD
2*ROL
ROS
Tile
RCC
ROD
ROL
ROS
MDT
ROD
ROL
RCC
RODS
8*ROL
2*ROS
LVL1 Calo
RCC
RB
ROL
ROS
RPC
RCC
ROD
ROL
ROS
Pixel
RCC
ROD
ROL
ROS
SCT
RCC
ROD
ROL
ROS
TRT
RCC
ROD
4*ROL
ROS
LAr
ROD
4*ROL
RCC
ROD
TGC
RCC
RODS
ROL
ROS
LVL1MUCTPI
RCC
RODS
ROL
LVL1CTP
QuickTime™ and aTIFF (Uncompressed) decompressor
are needed to see this picture.DFM
SFI
SFO
SFI
SFO
RCC
T/ADC
ROL
Mu-Beam
R/OB
Mini-MAGNI
ROD
2*ROL
RCC
ROL
ROS
Tile-LASER
RCC
T/ADC
ROL
Calo-Beam
T/ADC
Remote Farms
ROS
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Readout, DAQ and EF setup
MAGNI cluster
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
EF Data Flow
EFP EFD InputTask
Sorting
Task
ExtPTs
Task
ExtPTs
Task
Output
Task
Counting
Task
Histogr.Task
PreProc.
Task
PostProc.
Task
PT
PT
PT
PT
PT
SFI
SFO
InputHandler
Event Selectio
nThreads
LVL1Result
LVL2 Processing Task
EventQueue
LVL2Result
LVL1Result
LVL2Supervisor
LVL2 Processing Unit
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
LVL1-LVL2-EF-DAQ vertical slice
Event Filter MAGNI cluster
CTP RoIBLVL1A
HLT mini-rack
RCC
ROD
ROD…
ROL ROL
RCC
ROD
ROD…
ROL ROL
…
ROS ROS
SFI SFO
DFM
FileServer
L2 Supervisors
L2 Processors
EF Processors
pROS
Switch
L1 Muon L1 CaloLVL1
Detector
LVL2
Event Filter Control+ EB
EF
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Conclusioni• La collaborazione italiana HLT/DAQ ha contribuito in maniera sostanziale
alla scrittura del TDR di questo sistema (sviluppo di algoritmi di trigger, studi di physics performance e sviluppi DAQ) e ha un programma di lavoro per l’immediato futuro che prevede la validazione del sistema finale prima su Testbeam e poi su Testbed (“pre-serie”) prima di affrontare la fase di commissioning del TDAQ e dei rivelatori in costruzione.
• La richiesta è di mantenere gli impegni finanziari (3.3 MCHF) verso il sistema HLT/DAQ di ATLAS.
• Il profilo di spesa mostrato, nella percentuale del 13% del totale, è necessario per contribuire all’acquisto della “pre-serie” nel 2004, all’acquisto del “sistema iniziale” per gli anni 2005-2007 e, successivamente nel 2008-2009, a “completare il sistema” per affrontare il più ampio programma di fisica alla luminosità di disegno di LHC.
• Il piano finanziario da noi elaborato in termini di “deliverables” non tiene conto della richiesta di ATLAS di anticipare i “deferral” al 2004 (50% dei costi), richiesta che verrà discussa nel RRB di aprile tra ATLAS e le Funding Agencies.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Riserve
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Definizione dei sub-system HLT e DAQ• DAQ :
– Detector R/O : ROBin, ROS, Infrastruttura– Event Builder : Data Flow Manager, Switch Farm Interface, EB network, Switch
Farm Output con local storage– Online (Farm di processori per il software di controllo e monitoring, Network
centrale, Infrastruttura relativa)– Infra-structure (switch, link, prodotti software, network management tools, etc.)
• HLT : • Livello-2 (ROIBuilder, LVL2 Supervisor, Farm di processori di LVL2,
Network, Infrastruttura) – Event Filter (Farm di processori EF, Network interno, Infrastruttura)
• Pre-serie di HLT e DAQ :– include una versione su piccola scala del sistema allo scopo di validare
l’implementazione del TDAQ (e.g. 10% di Detector R/O, 1 switch per LVL2, 1 switch per EF, 2 sub-farm e 5% del sistema online).
• La maggior parte delle componenti è basata su COTS : commodity computer e communication hardware (e.g. PCs e Gigabit Ethernet) e strumentazione relativa.
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
Attività italiane
• Trigger di Livello-1 muoni (barrel) (Napoli, Roma1, Roma2)
• Trigger di Livello-2 muoni (barrel) (Pisa, Roma1)
• Trigger di Livello-2 pixel (Genova)• Event Filter (Lecce, Napoli, Pavia, Roma3)• DAQ (LNF, Pavia, Roma1)• DAQ testbeam (TDAQ + gruppi detector)
CSN1 - 6/4/2004 S.Falciano - INFN Roma1
OperatorIF
DataViewer
AlarmIF
ConfigDB
ConditionsDB
DCS_IS
DIPMagnet
CERN
LHCDSS DAQ IS
DAQ MRS
DAQ RC
DCS Back-End ArchitectureDCS Back-End Architecture
CIC
Global Control Station(GCS)
Tile Pixel SCT TRT LArMDT TGC RPC (CSC)
OP
C
LCSEB-
LCSB-
LCSB+
LCSEB+
Cooling LV HV Misc.
LCS
HECHV
OP
C
LCS
TempO
PC
LCS
ISEGHV
OP
C
LCS
FECrates
OP
C
HV/LV
OP
C
PC
Purity
OPCPVSS CAN
DDC
Local Control Stations (LCS)
Subdetector Control Stations (SCS)