• 連携用クライアントマシン (jldghpci.ccs.tsukuba.ac.jp)– HPCI共用ストレージとJLDGを同時mountできるclient machine • 両gfarm FS用のconfig file を指定し、２回 gfarm2fs

– gfpcopyによるHPCI共用ストレージとJLDG間の高速コピー

– 認証にHPCI電子証明書を使用

• gsi‐opensshによるログイン

• gfarmによる両 file system へのアクセス

– 筑波大学計算科学研究センターに設置

• 関連作業：VOSM再構築– glite‐vomsから osg‐vomsへ

– HPCI電子証明書の signature algorithm に対応するため

• 計算素粒子物理

– Lattice QCD計算による素粒子物理の諸問題の解明

– データ生成に膨大な計算資源が必要（複数のスパコン利用）

– 基礎データを用いて、種々の物理量の計算が可能

• データ共有

– 研究グループ内のデータ共有・蓄積の仕組み

– コミュニティの資産としての基礎データの蓄積と相互利用

– 2002年から、組織（大学・研究機関）を超えた枠組みで

• データグリッド

– JLDG: Japan Lattice Data Grid：2008実運用開始, 2011からHPCI戦略プログラム分野５で

– ILDG: International Lattice Data Grid：2007運用開始

HPCI共用ストレージ・JLDG連携 (hp120108)吉江友照,建部修見(筑波大),石川健一(広島大),松古栄夫(KEK),外川浩章(大阪大),山﨑剛(名古屋大)

@HPCIシステム利用研究課題中間報告会, 2013年10月03日

課題の目的と進捗状況(Summary)

Japan Lattice Data Grid

連携システム

研究グループ:  10      ユーザー数: 67 + 65(ILDG経由利用)

データ量:  1.2PB, 58M files （内、公開データ 70K 件） JLDGを利用した研究成果発表数：66件 private CA によるユーザー認証と仮想組織管理利用状況

jldghpci % gfpcopy ‐P ‐j 32 ‐H host ~/HPCI/home/hp120108/hpci000151/ConfData‐S  ¥~/JLDG/gfarm/pacscs/hpci/

[OK]COPY, 1.77MB/s(75.8s): gfarm://esci‐epgfm01.cspp.cc.u‐tokyo.ac.jp:601/home/hp120108/hpci000151/ConfData‐S/config‐0016.dat(esci‐wgfs007.aics.riken.jp:600) ‐> gfarm://mds1.jldg.org:11001/gfarm/pacscs/hpci/ConfData‐S/config‐0016.dat(jldg‐fs10‐sc:11000)……[OK]COPY, 1.7MB/s(79s): gfarm://esci‐epgfm01.cspp.cc.u‐tokyo.ac.jp:601/home/hp120108/hpci000151/ConfData‐S/config‐0007.dat(esci‐epgfd203.cspp.cc.u‐tokyo.ac.jp:600) ‐> gfarm://mds1.jldg.org:11001/gfarm/pacscs/hpci/ConfData‐S/config‐0007.dat(jldg‐fs10‐sc:11000)

…..copied_file_size: 274341036032total_throughput: 30.688255 MB/stotal_time: 8939.610159 sec.

gfpcopyで並列コピーを開始

HPCI (Riken‐AICS )→JLDG (Tsukuba)

HPCI (U.Tokyo )→JLDG (Tsukuba)

パラメータ調整でより高速化を図りたい

lyra1.ccs.tsukuba.ac.jp[105] % grid‐proxy‐init ‐valid 72:00Your identity: /C=JP/O=NII/OU=HPCI/CN=Tomoteru%40Yoshie[hpci000151]Enter GRID pass phrase for this identity:Creating proxy ............................................................ DoneYour proxy is valid until: Sat Sep 28 15:58:11 2013

lyra1.ccs.tsukuba.ac.jp[106]% gsissh jldghpciLast login: Wed Sep 25 15:55:35 2013 from lyra1.ccs.tsukuba.ac.jp

jldghpci % mount.gfarm2fs /etc/gfarm2.conf‐hpci ~/HPCIjldghpci % mount.gfarm2fs /etc/gfarm2.conf‐jldg  ~/JLDGjldghpci % df –H……gfarm2fs                22P   2.3P    19P  11% /home/yoshie/HPCIgfarm2fs               2.4P   1.2P   1.2P 50% /home/yoshie/JLDG

HPCI, JLDG gfarm FSを同時マウント（config file を指定し、２回mount)

gsisshでログイン

代理証明書の発行

• 技術検討と方針の決定

• システム構築– 機器設置、クライアント構築(HPCI,JLDG)

– VOMS(仮想組織管理サーバ)の再構築 (HPCI電子証明書に対応する為)

• 機能検証

• 環境整備– HPCI 電子証明書による gsi‐opensshログイン

• チューニング、性能検証、マニュアル整備 ⇒運用開始

[jldghpci ~]$ df ‐Hgfarm2fs      2.4P   1.1P   1.3P  47% /home/yoshie/JLDGgfarm2fs                21P   2.0P    19P  10% /home/yoshie/HPCI[jldghpci ~]$ gfpcopy ‐P ‐j 32  ‐H host ~/HPCI/home/hp120108/hpci000151/ConfData‐S ¥

~/JLDG/gfarm/pacscs/hpci[OK]COPY, 2.01MB/s(66.9s): gfarm://esci‐epgfm01.cspp.cc.u‐tokyo.ac.jp:601/home/hp120108/hpci000151/ConfData‐S/config‐0015.dat(hpcieast‐oss25.cspp.cc.u‐tokyo.ac.jp:600) ‐> gfarm://mds1.jldg.org:11001/gfarm/pacscs/hpci/ConfData‐S/config‐0015.dat(jldg‐fs10‐sc:11000)copied_file_size: 274341036032total_throughput: 30.688255 MB/stotal_time: 8939.610159 sec.

両gfarm FSの同時マウント（config file を環境変数で指定し、２回mount)

gfpcopyによるHPCI共用ストレージとJLDG間の並列高速コピー

システム構築・機能検証・環境整備が終了