東北メディカル・メガバンク機構 AMEDスーパーコンピュー...

東北メディカル・メガバンク機構AMEDスーパーコンピュータ供⽤サービスの利⽤について

東北大学東北メディカル・メガバンク機構

1

2020/1/30

■「スーパーコンピュータ供用サービス」とは

東北メディカル・メガバンク機構（ToMMo）に設置されているスーパーコンピュータは、15万人規模のゲノムコホートの基盤となる計算機です。

その計算資源の一部を利用し、全国の研究者が遠隔地からでも自由に解析を行うことが可能なサービスです。

■対象

AMED事業の研究課題の研究者

※特別料金でスーパーコンピュータをご利用可能です。

はじめに

Copyright(C)TohokuMedicalMegabankOrganizationAllRightsReserved.

目次

3

0.利用手続きについて

1.アカウントと資源利用の考え方

2.スーパーコンピュータの利用申請について

3.申請書の書き方

4.スーパーコンピュータ利用前作業について

5.秘密鍵の準備について

6.スーパーコンピュータ利用方法について

7.スーパーコンピュータ利用終了後について

8.参考Copyright(C)TohokuMedicalMegabankOrganizationAllRightsReserved.

利用の際は、下記の流れで手続きを行います。

0.利用手続きについて

申請者東北メディカル・メガバンク機構

①AMED利用申請書の作成・提出（コース、オプション決定）

利用申請書類 ②AMEDで採択された課題でご利用の場合、研究参加者リストのメンバーであることを確認※1

④利用承認書を確認(コース、請求予定額等)

③利用承認書を送付


⑤利用申請書の作成・提出※2 ⑥申請書類確認、アカウント作成

※1研究参加者リストに登録されていない方を利用者に含めることはできません。※2⑤の利用申請書の詳細については、本資料の「2.スーパーコンピュータ利用申請について」をご確認ください。

4


5Copyright(C)TohokuMedicalMegabankOrganizationAllRightsReserved.

■アカウント（ユーザ、グループ）についてAMEDスーパーコンピュータ供用サービスの利用申請（課題）ごとに、プロジェクトアカウント（※）とプロジェクトグループを作成します。

申請いただいた利用プランにより、プロジェクトアカウントに使用できる資源（ノード、Disk、共有キュー）量を設定します。資源を利用する場合は、プロジェクトアカウントでログインして行ってください。

各利用者の個人アカウントも作成しますが、個人アカウントのプライマリグループは所属組織のグループとし、個人アカウントでは原則として資源をお使いいただけません。

アカウント（ユーザ）プライマリグループ使用可能な資源量（ノード、Disk、共有キュー）

プロジェクトアカウントプロジェクトグループ申請いただいた利用量

個人アカウント所属組織のグループ最小限

＜使用可能な資源量設定＞

※プロジェクトアカウントについては、次ページ参照


6

※プロジェクトアカウントとは…・ ToMMoスーパーコンピュータで、複数人で共有するアカウント（ユーザ）です。・ AMEDスーパーコンピュータ供用サービスでは、課題ごとにプロジェクトアカウントと同名のプロジェクトグループを作成し、このプロジェクトアカウントで資源を利用していただきます。

・プロジェクトアカウントに、個人アカウントを紐付けることにより、各課題の利用者がプロジェクトアカウントにログインできるようになります。


所属組織1のグループ課題Xのプロジェクトグループ

利用者Ⅰ（個人アカウント）

利用者Ⅱ（個人アカウント）

所属組織2のグループ

利用者Ⅲ（個人アカウント）

プロジェクトアカウントX

課題Yのプロジェクトグループ

プロジェクトアカウントY

紐付け課題Xの資源を利用

課題の資源利用禁止

課題Yの資源を利用



■複数の区画（Unit）利用時の利用量について申請いただいた資源（ノード数、Disk、共有キュー）の利用量は、ご利用いただく区画の合算となります。

複数区画申請いただいた場合の基本資源配分は、下表の通りです。

資源配分にご希望がある場合は、お知らせください。

申請頂いた利用量 UnitA区画 UnitB区画

＜基本配分割合＞ 100% 50% 50%

例（ノード数） 80ノード 40ノード 40ノード

（Disk） 80TB 40TB 40TB

（共有キュー） 1,920 960 960

＜複数区画（UnitA,UnitB区画）利用時の基本資源配分＞

2.スーパーコンピュータ利用申請について


スーパーコンピュータを利用には、申請が必要です。（AMEDへの申請とは別の申請書です）1)利用申請利用者単位での申請とプロジェクト（課題）単位での申請のいずれも必要となります。◆利用者単位の申請利用する区画、国籍、職名・身分により提出書類が異なります。該当する状態の申請書類をすべて提出してください。

◆プロジェクト（課題）単位の申請プロジェクト責任者（課題の申請代表者）がプロジェクトで使用するプロジェクトアカウントの申請を行います。AMEDスーパーコンピュータ供用サービスの利用申請ごとに、１つ申請してください。

2)提出書類

申請者状態区分状態申請書類

利用者

利用する区画

UnitAのみ ●スーパーコンピュータ・統合データベースdbTMM利用申請書兼誓約書

UnitB ●スーパーコンピュータ・統合データベースdbTMM利用申請書兼誓約書

●情報分譲（ストロング）に関するセキュリティポリシー利用者用チェックリスト

職名・身分学生 ●誓約書●推薦書

プロジェクト責任者ーー ●プロジェクトアカウント利用申請書兼誓約書

2.スーパーコンピュータ利用申請について


申請から利用開始までの流れは以下の通りです。

申請者東北メディカル・メガバンク機構ゲノムプラットフォーム連携センター

①利用申請書の作成・提出利用申請書類

②申請書類確認、アカウント作成

④利用承諾書を確認(個人アカウント名等)

③アカウント作成完了連絡利用承認書(PDF)

⑤利用開始作業(指紋登録、メール設定、公開鍵・秘密鍵の作成、公開鍵の登録)

⑤初期パスワード付与作業日連絡

初期パスワード連絡

【UnitB区画利用の場合】

⑥スーパーコンピュータへログイン、秘密鍵の準備

⑦利用開始

【UnitA区画利用の場合】⑤利用開始作業(公開鍵・秘密鍵の作成、公開鍵送付)

⑤公開鍵登録・登録完了連絡公開鍵

公開鍵登録連絡

3.申請の書き方


3.1.スーパーコンピュータ利用申請書兼誓約書(1/3)

利用申請は年度毎に行います。来年度も続けてご利用予定の場合でも、年度末を記載ください。「ToMMoスーパーコン

ピュータシステム」にチェックを入れてください。



AMEDスーパーコンピュータ供用サービスをご利用の課題名を記載してください。

利用する区画にチェックを入れてください。AMEDスーパーコンピュータ供用サービスで利用可能な区画はUnitA区画とUnitB区画です。

任意のプライマリグループ名を記載ください。同じ所属の方は同じグループ名を記載してください。


スーパーコンピュータの希望アカウントを記載ください。（個人のアカウントです。）

AMED事業の「国立研究開発法人日本医療研究開発機構が指定する研究開発事業に参画する者」にチェックを入れてください。



AMEDスーパーコンピュータ供用サービスをご利用の課題名を記載してください。


任意のプライマリグループ名を記載ください。同じ所属の方は同じグループ名を記載してください。


スーパーコンピュータの希望アカウントを記載ください。（個人のアカウントです。）

AMED事業の「国立研究開発法人日本医療研究開発機構が指定する研究開発事業に参画する者」にチェックを入れてください。



申請者は誓約し、自署してください。

同じ所属で取りまとめて提出する方の情報を記載してください。


情報管理責任者が自署してください。原則、 AMEDスーパーコンピュータ供用サービスの申請代表者が情報管理責任者になります。※情報管理責任者については、「8.参考」参照

申請者の所属長の方は、自署してください。

UnitB区画を利用する方は、どこに設置しているシンクライアント端末を利用するか記載してください。


3.2.プロジェクトアカウント利用申請書兼誓約書(1/3)

AMEDスーパーコンピュータ供用サービスの申請代表者が誓約し、自署してください。申請代表者がプロジェクトの責任者になります。

「AMED事業」をチェックしてください。AMEDスーパーコンピュータ供用サービスを申請いただいた場合、添付資料は不要です。

利用申請は年度毎に行います。来年度も続けてご利用予定の場合でも、年度末を記載ください。


AMEDスーパーコンピュータ供用サービスをご利用の課題名、契約期間、利用目的を記載してください。



任意のプロジェクトアカウント名を記載ください。「スーパーコンピュータ利用申請書兼誓約書」で記載の個人アカウントのプライマリグループ名とは異なるプロジェクトアカウント名を記載ください。

プロジェクト責任者と情報管理責任者が同一の場合は、チェックしてください。





プロジェクトアカウントに紐づける利用者（個人アカウント）を記載してください。

利用者が利用する区画の「鍵」と「Grp所属」をチェックしてください。


4.スーパーコンピュータ利用前作業について


個人アカウントのアカウント作成完了メールが届きましたら、申請したそれぞれの区画で利用開始前の作業を実施してください。

※UnitA区画はご自身の端末で作業を行い、UnitB区画は専用のシンクライアント端末で作業を行います。

※利用開始前作業については、アカウント作成完了メールでご案内します。

公開鍵の登録完了後、スーパーコンピュータへのログインが可能になります。

＜利用開始前作業＞

作業項目 UnitA区画 UnitB区画

指紋登録－ ○

メール設定－ ○

公開鍵・秘密鍵作成 ○ ○

公開鍵の送付 ○ －

公開鍵の登録－

※SEが登録 ○



公開鍵登録完了後、スーパーコンピュータへログインし、秘密鍵の準備を行ってください。

秘密鍵の準備は、利用するそれぞれのUnit（UnitA,UnitB）で行ってください。

■秘密鍵の準備手順(1)ホームディレクトリ直下の「.ssh」ディレクトリに移動します。

(2) viエディタで id_rsaという名前のファイルを作成し、作成した秘密鍵をテキストを右クリックでペーストし、保存します。

左下に「“id_rsa”[新ファイル]」と表示されます。（次ページへ続く）

$ cd ~/.ssh

$ vi id_rsa

Enter

Enter

秘密鍵の準備手順は、各区画内のポータルサイト（※）にも記載があります。《利用方法→初めての方へ（設定の流れ）→ゲートウェイ間でのSSH接続》※ポータルサイトについては、「8.参考」参照



■秘密鍵の準備手順（続き）

(3) [i]キー押下で編集モードへ移行した後、秘密鍵の中身の文字列を右クリックでペーストします。（事前に作成した秘密鍵をテキスト形式で表示し、コピーしておきます）

左下に「−−挿入 −−」と表示されます。

(4)コマンド入力モードへ移行（[Esc]キー押下）した後、viエディタで id_rsaファイルを保存（[:][w]キー押下）し、viエディタを終了（[:][q][!]キー押下）します。

左下に「“id_rsa”[新]1L,1714C書込み」と表示されます（数字部分は行数と文字数）。

(5)適切なパーミッションを設定します。

$chmod 400id_rsa

Enter

Enter

Esc : w

EnterEsc : q !

（秘密鍵の文字列を右クリックでペースト）

i



■ディスク領域の利用についてAMEDスーパーコンピュータ供用サービスで利用する各課題のデータは、各課題毎に作成したプロジェクトアカウントのホームディレクトリ下に置いてください。

利用者の個人アカウントのホームディレクトリ下には置かないでください。

/home/proj-x (課題Xプロジェクトアカウントのホームディレクトリ)課題Xのデータは、この下に置いてください

/home/proj-y (課題Yプロジェクトアカウントのホームディレクトリ)課題Yのデータは、この下に置いてください

/home/user-1 (利用者Ⅰの個人アカウントのホームディレクトリ)課題に関するデータは置かないでください

： ×



■ディスク使用量の確認方法showquotaコマンドで、ユーザ（プロジェクトアカウント、個人アカウント）およびグループのディスク使用量と使用可能な容量（クオータ値）を確認することができます。※ログイン中のユーザ・グループの情報が表示されます。それぞれのUnitで実行してください。

$ showquota=============== User Quota Information ===============[BLOCK quota of proj-x account]filesystem : used/ softlimit/ hardlimit/share1 : 0.10TB/ 80.00TB/ 82.00TB

：(省略)

=============== Group Quota Information ===============[BLOCK quota of proj-x group]filesystem : used/ softlimit/ hardlimit/share1 : 0.10TB/ 80.00TB/ 82.00TB：(省略)

ディスク使用量使用可能な容量（クォータ値）[softlimit]超過して7日経過すると書き込みできなくなります。[hardlimit]超過すると書き込みできなくなります。

ユ

ザの情報

グル

プの情報

プロジェクトアカウントでの実行例です。ホームディレクトリは/share1にあります。softlimitが、申請いただいた容量になります。



■ノード・共有キューの利用についてAMEDスーパーコンピュータ供用サービスでジョブを実行する場合は、各課題のプロジェクトアカウントでログインして、処理（ジョブ等）を実行してください。

プロジェクトアカウントへのログイン方法については、次ページで説明します。

個人アカウントでログインした状態で、各課題のジョブを実行することは原則禁止です。

スーパーコンピュータ（UnitX）



■プロジェクトアカウントへのログイン方法(1)個人アカウントでスーパーコンピュータにログインします。

(2) ssh接続でプロジェクトアカウントにログインします。

パスフレーズは、各個人アカウントのパスフレーズを入力します。

プロンプトがプロジェクトアカウントに変わったことを確認します。

[user-1@gwXXX~]$ ssh プロジェクトアカウント@localhost Enter

Enterpassphraseforkey‘/home/user-1/.ssh/id_rsa’:（パスフレーズを入力） Enter

[プロジェクトアカウント@gwXXX ~]$

利用者Ⅰの個人アカウント

課題Xのプロジェクトアカウント

利用者Ⅰ

利用者Ⅱ

公開鍵Ⅰ

秘密鍵Ⅰ

利用者Ⅱの個人アカウント

秘密鍵Ⅱ公開鍵Ⅱ

利用者のPC(UnitA)シンクライアント（UnitB)

(1)

(2)公開鍵Ⅰ

公開鍵Ⅱ

秘密鍵Ⅰ

秘密鍵Ⅱジョブ実行

ﾊﾟｽﾌﾚｰｽﾞⅠ

ﾊﾟｽﾌﾚｰｽﾞⅡﾊﾟｽﾌﾚｰｽﾞⅡ

ﾊﾟｽﾌﾚｰｽﾞⅠ



■ジョブの実行方法詳細は講習会資料（※）を参照してください。プロジェクトアカウントでジョブ起動前に、初回のみ makeqloginkeyコマンドを実行してください。

ジョブの起動方法は、qsubコマンド（バッチジョブ）とqloginコマンド（インタラクティブ）の２通りあります。

・qloginコマンド

・qsubコマンド

各キューの状況は、qavail コマンドで確認できます。投入したジョブの状況は qstat コマンドで確認できます。終了したジョブの情報は、job_recordコマンドで確認できます。

[プロジェクトアカウント@gwXXX ~]$ qlogin

[プロジェクトアカウント@gwXXX ~]$ qsub スクリプトファイル

※講習会資料については、「8.参考」参照

[プロジェクトアカウント@gwXXX ~]$ makeqloginkey



■データの持ち込みについて【UnitB区画への持ち込み】・データを持ち込む際には、情報管理責任者（申請代表者）の許可が必要です。・持込方法には、(a)～(e)の５つの方法があります。※ (b),(d),(e)のデータ持ち込みには有料オプションの申請が必要です。

※持込方法(a)では、個人アカウントでスクリプトを実行しますが、持ち込まれたファイル（圧縮ファイル）は、プロジェクトアカウントのホームディレクトリ下に置き、プロジェクトアカウントで解凍してください。圧縮ファイルは、オーナーが個人アカウントになりますので、持ち込みデータ確認後削除してください。※持込手順については、ポータルサイトを参照してください。※持込方法(b),(d),(e)のToMMo側作業の場合は、申請が必要です。※情報管理責任者については、「8.参考」参照

UnitB区画

UnitA区画

UnitA(スーパーコンピュータ )

UnitB(スーパーコンピュータ )

UnitB(シンクライアント )

(a)スクリプト実行(b) ToMMo側で作業（容量が大きい場合等）

(c)登録済み指紋認証付きUSBメモリでシンクライアントへ持ち込み（シンクライアント上で情報管理責任者（※）の承認処理が必要）

(d)キーロック付きハードディスクから持ち込み（ToMMo側作業）(e)キーロック付きUSBメモリから持ち込み（ToMMo側作業）

(a) (b)

(c)

(d) (e)



■データの持ち出しについて【UnitB区画からの持ち出し】・データを持ち出す際には、情報管理責任者（申請代表者）の許可が必要です。・持出方法には、(a)～(d)の４つの方法があります。※ (a),(c),(d)のデータ持ち出しには有料オプションの申請が必要です。

※持出方法(b)では、2GB以下のデータについて、次の手順で持ち出すことができます。(1)SshfsまたはWinSCPを利用し、シンクライアントにデータをコピーします。(2)InterSafeWorkFlowにて、持出し申請を行います。(3)InterSafeWorkFlowにて、情報管理責任者が承認処理を行います。(4)承認後、申請者がUSBメモリにデータを書き出し、持ち出します。※Sshfs,WinSCP,InterSafeWorkFlowの利用手順については、ポータルサイトをご確認ください。

※持出方法(a),(c),(d)のToMMo側の場合は、データ持出申請書を提出してください。

UnitB区画

UnitA区画UnitA

(スーパーコンピュータ )UnitB

(スーパーコンピュータ )

UnitB(シンクライアント )

(a) UnitAに持ち出し（ToMMo側作業）

(b)登録済み指紋認証付きUSBメモリでシンクライアントから持ち出し

(c)キーロック付きハードディスクに持ち出し（ToMMo側作業）(d)キーロック付きUSBメモリに持ち出し（ToMMo側作業）

(a)

(b)

(c) (d)

7.スーパーコンピュータ利用終了後について


AMEDスーパーコンピュータ供用サービスの利用終了後は、終了した課題のプロジェクトアカウントとプロジェクトグループは停止し、利用できないように設定します。

個人アカウントについては、別の課題で利用される場合は継続してご利用いただけます。

終了したプロジェクトアカウントのホームディレクトリ下と、そのプロジェクトアカウントがオーナーとなっているデータは、一定期間後削除されます。必要なデータは利用終了前に持ち出し等を行ってください。

/home/proj-x (課題Xプロジェクトアカウントのホームディレクトリ)

/home/proj-y (課題Yプロジェクトアカウントのホームディレクトリ)

/home/user-1 (利用者Ⅰの個人アカウントのホームディレクトリ)

：

課題Xの利用終了後、削除

別課題があれば、継続利用

8.参考

28

■UnitA区画について・ UnitA区画は、ご自身の端末からインターネット経由で接続できる区画です。


UnitAスーパーコンピュータ（Linux）

UnitAゲートウェイノード

計算ノードジョブ投入ご自身の端末

ログイン

自由にファイルの持ち込み・持ち出しが可能

共有メモリ型計算機

ログインジョブ投入

8.参考

29

■ UnitB区画について・ UnitB区画では、専用のシンクライアント端末からログインします。・ファイルの持ち込み・持ち出しは申請が必要です。


UnitBシンクライアント（Windows）

UnitB(UnitB仮想デスクトップ)

スーパーコンピュータ（Linux）

UnitB

ゲートウェイノードログイン

計算ノードジョブ投入

共有メモリ型計算機

ログインジョブ投入

8.参考

30

■情報管理責任者と利用者の種別について・利用者には、4つの種別があります。・原則、AMEDスーパーコンピュータ供用サービスの申請代表者が、情報管理責任者となります。申請代表者から委任された方がプロジェクト管理者として情報管理責任者となることも可能です。

・情報管理責任者は、情報持込・持出責任者、情報管理担当者を任命可能です。

（※任命には、「情報持込・持出責任者届け」、「情報管理担当者届け」の提出が必要です）

・情報管理責任者、情報持込・持出責任者、情報管理担当者以外の方は、一般の利用者になります。


利用者の種別役割

情報管理責任者・所属組織および課題に関する責任者・各種申請の承認

情報持込・持出責任者・プロジェクトで発生するデータの持ち込みおよび、持ち出しの申請について、許可・却下を判断して処理を行う

情報管理担当者・情報管理責任者の許可のもと、利用者の各種申請のサポートを行う

一般の利用者－

8.参考

31

■ポータルサイトについて・UnitA区画、UnitB区画にはそれぞれポータルサイトがあります。・利用方法やお知らせが記載されていますので、ご参照ください。


区画参照手順

UnitA 1.NXクライアント（※）でUnitAにログインします。2.ブラウザを起動し、次のページを表示します。【URL】 http://portal:8080

UnitB 1.シンクライアントにログインすると、自動的にブラウザが起動し、ポータルサイトが表示されます。（ブラウザが起動しなかった場合は、メニューから起動してください）

＜区画内ポータルサイトの参照手順＞

※NXクライアントでの接続方法については、下記ポータルサイトをご参照下さい。https://sc.megabank.tohoku.ac.jp/nx-nomachine-preference/application

8.参考

32

■講習会資料について・UnitA区画、UnitB区画のポータルサイトに講習会資料を掲載しています。ジョブの実行方法など、ご参照ください。

＜講習会資料の掲載場所＞

利用方法ー＞講習会・説明会資料

※ジョブの実行方法については、「UGE利用説明」に記載されています。


8.参考

33

■問い合わせ先・利用者情報に変更が生じた場合は、変更申請書の提出が必要です。

・各種申請方法やご不明な点等ございましたら、下記へお問い合わせください。

東北メディカル・メガバンク機構ゲノムプラットフォーム連携センターメール :[email protected]電話 :022-274-5952

◆申請書類等の送付先住所 :〒980-8573宮城県仙台市青葉区星陵町2-1

東北大学東北メディカル・メガバンク棟 4階 457室ゲノムプラットフォーム連携センター


東北メディカル・メガバンク機構 AMEDスーパーコンピュー...

Documents

Transcript of 東北メディカル・メガバンク機構 AMEDスーパーコンピュー...