宇宙科学統合解析環境の構築と Astro-E2 解析支援
1
宇宇宇宇宇宇宇宇宇宇宇宇宇宇 Astro-E2 宇宇宇宇 宇宇宇 宇宇宇宇宇 宇宇宇宇宇 宇宇宇宇 宇宇宇宇 、、、、一 ( 宇宇宇 ) 宇宇宇 、 ( 宇宇宇 ) W38b 宇宇宇宇宇 – 宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇 – 宇宇宇宇宇宇 Astro-E2 ( 宇宇宇 ) 宇宇宇宇 PLAIN 宇宇宇宇 – 宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇 ・、 PLAIN 宇宇宇宇宇宇宇 1 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇 ・ 宇宇宇宇宇宇宇宇 (DANS) 宇宇宇宇宇宇宇 宇宇宇宇宇 宇宇宇宇宇宇宇宇 。・ Fiber Channel 宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇 、・。 宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 、、 宇宇宇宇宇宇宇宇宇宇宇宇宇。 宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇 。、 DANS 宇 宇宇宇宇宇宇宇宇宇宇 一 宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇 、。、 宇宇宇 宇宇宇宇宇宇宇宇宇 宇宇宇宇宇 ・・ (CPU 宇宇宇宇宇 ) 宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 。。 宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇 宇 宇宇宇宇宇 一 宇宇宇宇 SINET 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 ( 宇宇宇 ⇔ 宇宇宇宇宇 ) 1. Fiber Channel 宇宇宇宇宇宇 SAN (Storage Area Networ k) 宇宇宇宇宇宇宇宇宇宇宇宇宇 – SNFS (StorNext File Syste m) 2. 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 – SRFS (Shared Rapid File System) 宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇 、 宇宇 : 宇宇宇宇 OS 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 ⇒ 宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇 ・ ？ OS 宇宇宇 mount 宇宇宇宇宇宇宇宇 directory 宇宇宇宇 宇 一 宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇、 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 1. DNS 宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 CPU 宇宇宇宇宇宇宇宇宇 宇宇宇宇宇 2. CPU 宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇 client 宇宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇 宇宇 linux 宇宇宇宇 OS: scientific linux 4.1 (Solaris, Mac 宇宇宇宇 ) Tool: heasoft, ciao, sas 宇宇 X 宇宇宇宇宇宇宇宇宇宇宇宇宇宇 IDL 宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 • 宇 OS 宇宇宇宇宇宇宇宇宇 mount 宇宇宇宇宇 宇宇宇宇宇宇宇宇 一 • 宇宇宇 OS 宇宇宇 user 宇宇宇宇宇宇宇宇宇 • 宇宇宇宇宇宇宇 宇宇宇宇宇 一 宇宇： 宇宇宇宇宇宇 update 宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇 宇宇 宇宇宇 宇宇宇宇宇 ・・ 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 宇 1: PLAIN 宇宇宇宇宇 Data Analysis Network System (DANS) 宇宇宇宇 宇宇 client mount mount mount mount OS1 OS3 OS2 mount 宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 宇一 directory 宇宇 user 宇 OS 宇宇宇宇宇宇宇宇宇宇 script 宇宇宇宇宇宇宇宇宇 0 10 20 30 40 50 60 70 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 1M B 2M B 4M B 8M B 16M B 32M B 64M B 128M B 256M B ブ ブ ブブ ブ ブ ブ [KB] I/Oブ ブ [MB/sec] SRFS(W rite) SRFS(Read) N FS(W rite) N FS(Read) LO C AL(W rite) LO C AL(Read) netperf SRFS vs. NFS 0 20 40 60 80 100 120 140 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 1M B 2M B 4M B 8M B 16M B 32M B 64M B 128M B 256M B ブ ブ ブブブ ブブ [KB] I/Oブ ブ [MB/sec] SRFS-SN FS(W rite) SRFS-SN FS(Read) SRFS-U FS(W rite) SRFS-U FS(Read) LO C AL-SN FS(W rite) LO C AL-SN FS(Read) LO C AL-U FS(W rite) LO C AL-U FS(Read) netperf SRFS+ SNFS 宇宇宇宇宇 宇宇宇 一 ⇒ SRFS 宇宇宇宇 宇宇宇宇宇宇 ⇒ NFS 宇宇宇宇 SRFS + SNFS 宇宇宇 宇宇宇宇宇宇宇 DNS 宇宇宇 user 宇宇宇宇宇宇宇宇宇宇 login 宇宇宇宇宇宇宇宇宇 宇宇宇宇宇宇宇 – 宇宇宇宇宇宇！ 宇 2: 宇宇宇 - 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 宇 3: 宇宇宇宇宇宇宇宇宇宇宇宇宇宇宇 宇宇宇宇宇 ・ 宇 宇宇宇宇宇宇宇 宇宇
-
Upload
justin-bullock -
Category
Documents
-
view
19 -
download
3
description
OS1. mount. OS2. mount. 解析環境. SRFS vs. NFS. mount. mount. OS3. 新規 client. SRFS+ SNFS. W38b. 宇宙科学統合解析環境の構築と Astro-E2 解析支援. 三浦昭、村上弘志、田村隆幸、篠原育、松崎恵一 ( 宇宙研 ) 、馬場肇 ( 茨城大 ). PLAIN センター – 宇宙研の各衛星・探査機のデータを公開し、解析手段を提供する役割を担う. 概要. PLAIN センターでは図 1 のように取得データの蓄積から処理・公開まで - PowerPoint PPT Presentation
Transcript of 宇宙科学統合解析環境の構築と Astro-E2 解析支援
宇宙科学統合解析環境の構築と Astro-E2 解析支援 三浦昭、村上弘志、田村隆幸、篠原育、松崎恵一 ( 宇宙研 ) 、馬場肇
( 茨城大 )
W38b
データ共有 – 高速データ転送 アプリケーションの共有 – 解析統合環境
Astro-E2 ( すざく ) 解析環境
PLAIN センター – 宇宙研の各衛星・探査機のデータを公開し、解析手段を提供する役割を担う
PLAIN センターでは図 1 のように取得データの蓄積から処理・公開まで統合したシステム (DANS) を構築している。各計算機・ディスクアレイはFiber Channel によって接続され、データの共有・高速転送が可能である。しかし、データを貯めて公開するだけでは活用するには不充分であり、解析手段の提供が必須である。現在の問題点として
解析環境の分散による各研究者の負担増 解析環境の欠如による過去の衛星のデータの死蔵
が挙げられる。これらを防ぐ目的で、 DANS の一部として解析サーバも用意し、手軽な解析手段を提供している。これをさらに発展させるため、データ・アプリケーション・計算機資源 (CPU パワーなど ) の共有を進めることが重要である。その現状と今後の取り組みを報告する。
データ量の増大 高速データ転送が必須
安全なデータ転送第一段階として スーパー SINET 専用線で接続された地点間で試験
( 宇宙研 ⇔ 国立天文台 )
1. Fiber Channel で接続された SAN (Storage Area Network) における高速データ共有方式 – SNFS (StorNext File System) 2. スーパーコンピュータ用に開発された高速データ共有方式 – SRFS (Shared Rapid File System)これら二つを組み合わせ、従来の方法と比較
目標 : 異なった OS 間で同じ環境での解析を可能にする ⇒ 共有可能・不可能部分をどう整合をとるか？
OS ごとに mount 元を分けることで directory 構造の同一化
計算機資源の共有 限られた計算機資源をできるだけ有効に、また各ユーザーに平等に配分する
1. DNS での振り分け
スパコンなどバッチ処理のものと同様に計算機の CPU 使用率等での振り分けを検討中
2. CPU 負荷により振り分け
他大学でも標準 client 機をつなぐだけで解析環境を共有することを目指す
現在 linux で試験中
OS: scientific linux 4.1 (Solaris, Mac も構築中 )Tool: heasoft, ciao, sas など X 線天文衛星の解析環境を揃えた IDL など商用ソフトも利用可すざく公開データもマウント予定
• 同 OS 間では特定の領域を mount するだけで 一つの環境を共有可• 異なる OS 間でも user から見ると同じ環境• メンテナンスも一箇所ですむ
利点： 最新の環境に update する手間がいらない 公開データに直接アクセスできるため大量解析でも転送の手間が 省けディスク容量もいらない 安全・高速・便利に利用 他機関の研究者同士で解析結果の交換が容易
図 1: PLAIN センターの Data Analysis Network System (DANS)
解析環境
新規 client
mount
mount
mountmount
OS1
OS3
OS2
mount するだけで解析環境完成 管理労力低減過去の衛星のデータ解析なども手軽に
同一 directory 構造 user は OS を意識する必要がないscript の共有などが簡単に
0
10
20
30
40
50
60
70
4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 1MB 2MB 4MB 8MB 16MB 32MB 64MB 128MB 256MB[KB]ブロックサイズ
I/O
[MB/sec]
性能
SRFS(Write)SRFS(Read)NFS(Write)NFS(Read)LOCAL(Write)LOCAL(Read)netperf
SRFS vs. NFS
0
20
40
60
80
100
120
140
4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 1MB 2MB 4MB 8MB 16MB 32MB 64MB 128MB 256MB[KB]ブロックサイズ
I/O
[MB/sec]
性能
SRFS-SNFS(Write)SRFS-SNFS(Read)SRFS-UFS(Write)SRFS-UFS(Read)LOCAL-SNFS(Write)LOCAL-SNFS(Read)LOCAL-UFS(Write)LOCAL-UFS(Read)netperf
SRFS+ SNFS
データの同一性保証 ⇒ SRFS が優れる
読み込みのみ ⇒ NFS でも良い
SRFS + SNFS によるデータ共有成功
DNS サーバ
user
よりインテリジェント
login時に振り分けるのみ
すでに試用開始 – 利用者募集中！
図 2: 宇宙研 - 天文台間のデータ転送速度の測定結果
図 3: すざくの銀河中心付近のイメージ・スペクトル （すざくチーム）
概要
