J-PARC 実験におけるデータ収集環境とシステムデザイン
description
Transcript of J-PARC 実験におけるデータ収集環境とシステムデザイン
J-PARC 実験におけるデータ収集環境とシステムデザイン
KEK Electronics/Online Group
五十嵐 洋一
講演の内容マップ
KEK-VMETrigger 系
田中
KEK-VMERead-out 系
田内
既存システム井上
KEK-VME System 構築仲吉
データ収集系 , KEK-VME 概要五十嵐
将来の可能性内田
J-PARC 50 GeV-PS 実験• 念頭に置いたデータ収集系の要求性能
– Trigger rate: 500Hz ~ 10kHz– Channel 数 > 1k– データ量 1MB/sec ~ 数十 MB/sec
• 実現するための問題点– Dead time < 数 sec– System integration
• 多数の channel• 多数にわたるクレート
– モジュールの供給• 市場に物理測定用 A/D モジュールが少ない。
– トラディショナルなシステムの相対的な高コスト化• Channel 数の増加• 安価な高性能技術
解決手段 (Dead Time)
• モジュールの構造の変更– バッファ・メモリをバスの前に– モジュール単位で十分なバッファを持たせる。
• Front-end data reduction– モジュールの単位でのデータの削減– エレクトロニクスの進歩により安価にフロントエ
ンドにメモリやシーケンサ、プロセッサを搭載することが可能。
Front-end of Read-out module
• トラディショナルなシステム– Processor が データを集め終
わるまでが Dead time
• フロントエンドバッファリング– 細かい単位で FIFO にデータ
をバッファリング– Trigger の分布を一様に均す
ことで Dead time は ~ 1/10 に
– FIFO の後ろでは Real-time system が不要
Loca
l bus
FIFO
FIFO
FIFO
FIFO
AD
AD
AD
ADSta
ndard
bus
AD module
AD module
AD module
AD module Processor
Processor
BUSY release
TRIGGER
解決手段 ( モジュールの供給 )• モジュール開発のベースとなる
プラットフォームの開発– Power/Bus crate: KEK-VME– Read-out platform: COPPER
• ユーザーと共に必要なモジュールを開発。– 開発するのはプラットフォーム上の
小さな A/D の部分のみ
POWERCRATE
READOUTPLATFORM
A/D CARD
Schematic view of a read-out module
Loca
l bus
PC
IBridge
PLX9054
VM
ESharedMemory
FIFO
FIFO
FIFO
FIFO
9U Euro Card
To Downstream DAQ System
To Central Trigger
Sig
nals
fro
m d
etec
tors
• Standard components– 9U Euro card– VME-32 compatible– PCI
ADC/TDC(FINESSE)
ADC/TDC(FINESSE)
ADC/TDC(FINESSE)
ADC/TDC(FINESSE)
Free Slot
PrPMC(Processor)
Triggermodule
Serial LinkNetworkEtc…
On-boardNetworkinterface
On-board data reduction
Front-end Buffering
•Module structure
Pipeline read-out
解決手段 (System Integration)• ネットワークによる分散システム
– ネットワーク技術の進歩により 1Gbps ~ 10Gbps の転送が可能。
• PLD, PC, Linux など一般的で良く知られた技術の導入– 組み上げのコストを下げるために出来るだけ特殊なものは使
わない• PC を組み込んだモジュール群
– Read-out platform: COPPER– PC 内臓 CAMAC C.C.: CC/Net
System integration
• ADC+PC をユニットとしてネットワークで組み合わせる。– COPPER– CC/NET– TKO/VME/VME-PC
• Read-out は違うが、その他は Software 上は同じものとして扱える。
• よく知られた馴染み深い環境の利用– PC/Linux 2.4
• 豊富なアプリケーション / 開発環境• GCC• Script 言語
A/D PC Network
Overview of DAQ configuration(Data Path)
TKO
CAMAC
PC
VICTOR/VME-CPUSCH/SMP/VME-CPU
NetworkBack-end
PC
COPPER•Network•VME-bus•Open interface
(USB/FireWire/…)
Local Storage
NetworkTo Data serverPC
CC/NET
Network based
Event Builder
New System
Traditional System
Software
• Read-out driver• DAQ framework
– Bus を中心としたものから Network を中心としたものへ
– Network based Event builder– Slow/Run control
• Network base message exchanger– Control– Watch dog
– Data carrier• Format• Pack/unpack interface
Trigger distribution
• システムの半パイプライン化– Trigger/busy のスキームは O(10 kHz) ト
リガのレンジでは問題ないのでそのまま使う。
• System の構築、 debug に有利– Event のタグが重要に
• 中央管理のタグ• モジュール毎のタグ
– モジュールが持つ local counter– On-board PC が持つ local counter– GP-IO/KEK-VME を使った Trigger/Tag の分配– (Belle TT system を使った Trigger/Tag の分配 )
Trigger/Tag distribution
Trigger Logic
GP
-IO GO
NG
SC
H
C.C
.
CO
PP
ER
CO
PP
ER
I/O register
I/O register
CO
PP
ER
CO
PP
ER
Int. register
SMP
KEK-VME TKO CAMAC
TRIGGER/RESET
BUSYTAG
GP-IO
Storage
• 一般 LAN とは別に専用に光ケーブルを要求済– HDホールから Data Center まで 1 Gbps
を専用に確保• Data center が何処にどのような形で出来るか
はまだ未定。
• 大容量 Disk に 溜め込み順次 Data center のストレージに転送。– Media server– RAID
開発の現状• Hardware
– KEK-VME crate• 9U/6U ほぼ完成• Low-noise 電源を開発中
– Read-out module• 実用モジュールが完成
– Front-end A/D card• 500 MHz/65MHz FADC, AMT TDC が実用レベル
– Trigger-Card• 実用試験中
• Software– 主要な Device driver は動いている。– DAQ framework
• 試験用 DAQ システムを動かして試験中• 実用への R&D
利用・協力• Belle DAQ
– 共同開発– 主 A/D (pipeline TDC) を Fast-bus KEK-VME
に移行• EFC を使って実用試験中 うまく動いている。
• KL 実験– FADC を検討 /試験
• KEK短寿命核実験– FADC を検討 /試験
• J-PARC Beam line– KEK-VME を使った モジュール (Slow-ext.)– モニター用の FADC (Fast-ext.)
• テレスコープアレイ実験
Know-how の集積
• Web site/Portal site の準備• 現行の開発ミーティングをユーザーミーティングに移行– 開発ミーティング参加 Gr.
• KEK elec./online gr., Belle DAQ gr., 広島工業大学 , T2K
–今後は• DAQ frame work の開発• 利用のための Know-how をためる。• 開発の需要調査• などが中心
一緒にやりませんか ?
まとめ
• KEK electronics/online group では J-PARC を含む次世代粒子検出実験のサポートのために KEK-VME System を開発しています。– KEK-VME crate, Read-out module, いくつかの F
ront-end card が Ready です。– Front-end card ( それ以外でも ) の共同開発はいつでも受け付けます。
• これからの課題– DAQ framework
– System の実証試験
– 実験グループと共に実験への適用
Crate and Power Supply (KEK-VME)
Pin assignment of J0
Voltage -5.0V -3.3V +3.3V
Total Max Current
100A 320A 200A
Pos.
z a b c d e f
1 GND GND GND GND GND GND GND
2 GND GND GND GND GND GND GND
3 GND GND GND GND GND GND GND
4 GND +3.3V +3.3V +3.3V +3.3V +3.3V GND
5 GND +3.3V +3.3V +3.3V +3.3V +3.3V GND
6 GND +3.3V +3.3V +3.3V +3.3V +3.3V GND
7 GND +3.3V +3.3V GND GND GND GND
8 GND GND GND GND GND GND GND
9 GND GND GND GND GND GND GND
10 GND GND GND GND -3.3V -3.3V GND
11 GND -3.3V -3.3V -3.3V -3.3V -3.3V GND
12 GND -3.3V -3.3V -3.3V -3.3V -3.3V GND
13 GND GND GND GND GND GND GND
14 GND -5V -5V -5V -5V -5V GND
15 GND GND GND GND GND GND GND
16 GND S1+ S1- GND S2+ S2- GND
17 GND S3+ S3- GND S4+ S4- GND
18 GND S5+ S5- GND S6+ S6- GND
19 GND S7+ S7- GND C1 C2 GND
• Euro card/crate– 9U and 6U
– VME-32 bus
• J0 Connector for Power Supply– Treat front-end analog to
digital conversion devices
A low noise power supply was developed.(1/10 less than standard VME power supply)
+3.3V
-3.3V
-5.0V
Trigger distribution
Trigger module(GP-IO)
COPPER
CAMAC
Trigger Logic(NIM/VME/KEK-VME)
GONG
KE
K-V
ME
TK
O
NIM
/EC
L/LV
DS 128input Trigger module
Clock generatorGate generator
General purpose I/O module(It can used as trigger receiver)
Trigger logic building tools
Programmablelogic device
KEK-VME logic modules can be replaced traditional NIM logic modules.
データバッファリング
• 非同期に現れるイベントを同期的にならす– イベント間の時間幅
• ポアソン分布 → 等間隔
t
イベント発生時間
データを取り込んでいる時間t
Buffer
Dead Time を 10% に仮定すれば、バッファの前後で必要とされる速度は 10倍違う !
Software model (Data collection)
ADC
Data readRing bufferRing bufferTCP/IP
Ring bufferData reader
Ring bufferData readerEvent builder
Ring bufferData reader
• Software は Linux 上で開発・稼動可能
Software model (Slow control)
• Network を超えて制御メッセージ / ステータス の交換を行う framework