New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. ·...
Transcript of New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. ·...
![Page 1: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/1.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
日本におけるGrid 関連
技術の展望
2002年年年年6月月月月17日日日日富士通株式会社富士通株式会社富士通株式会社富士通株式会社
コンピュータ事業本部コンピュータ事業本部コンピュータ事業本部コンピュータ事業本部
三浦 謙一三浦 謙一三浦 謙一三浦 謙一
![Page 2: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/2.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
グリッドとは
Sensor nets
Data archives
Softwarecatalogs
Colleagues
Computing Resources
• 電力供給網(Electrical Power Grid)からの“アナロジー”• 全地球的に分散した 計算資源・データ・実験装置・人的計算資源・データ・実験装置・人的計算資源・データ・実験装置・人的計算資源・データ・実験装置・人的
資源(研究者)資源(研究者)資源(研究者)資源(研究者)などを高速・大容量ネットワークでダイナミック(動的)につないだ仮想組織 (Virtual Organization)
![Page 3: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/3.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Background
米国の研究者を中心として発展米国の研究者を中心として発展米国の研究者を中心として発展米国の研究者を中心として発展
(1)計算機要素技術の飛躍的な発展計算機要素技術の飛躍的な発展計算機要素技術の飛躍的な発展計算機要素技術の飛躍的な発展
CPU, メモリ,ストレージメモリ,ストレージメモリ,ストレージメモリ,ストレージ, ネットワーク ネットワーク ネットワーク ネットワーク
(2)地理的条件:地理的条件:地理的条件:地理的条件: 広域的な計算資源の分散広域的な計算資源の分散広域的な計算資源の分散広域的な計算資源の分散
例:例:例:例:NASAの研究所、の研究所、の研究所、の研究所、NSFスパコンセンタスパコンセンタスパコンセンタスパコンセンタ
(3) 90年代の年代の年代の年代のHPC分野での政府予算の縮小傾向分野での政府予算の縮小傾向分野での政府予算の縮小傾向分野での政府予算の縮小傾向
((((NASA,NSF等)等)等)等)����計算資源の統合化計算資源の統合化計算資源の統合化計算資源の統合化/共有化共有化共有化共有化
(4) ネットワーク分野への政府投資の増大ネットワーク分野への政府投資の増大ネットワーク分野への政府投資の増大ネットワーク分野への政府投資の増大
( ( ( (NGI,,,,Gigabit Testbeds 等等等等))))
(5) 粒子加速器、天体望遠鏡、電子顕微鏡などの巨大実験粒子加速器、天体望遠鏡、電子顕微鏡などの巨大実験粒子加速器、天体望遠鏡、電子顕微鏡などの巨大実験粒子加速器、天体望遠鏡、電子顕微鏡などの巨大実験
装置装置装置装置/観測装置、或いは巨大データベースと観測装置、或いは巨大データベースと観測装置、或いは巨大データベースと観測装置、或いは巨大データベースとData処理を処理を処理を処理を
行うセンター行うセンター行うセンター行うセンター / 研究者との間の高速・柔軟な接続要求研究者との間の高速・柔軟な接続要求研究者との間の高速・柔軟な接続要求研究者との間の高速・柔軟な接続要求
![Page 4: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/4.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Origin
• ARPANET (1970s)• Metacomputing(NSF Centers 1992)• National Machine Room Concept• SC-xyでのでのでのでのDemo (I-way, GUS etc., 1995-)
![Page 5: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/5.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
EmergingProduction
GridsNASA Information Power Grid
NSF National Technology Grid
Source: Ian Foster,Argonne National Lab.
![Page 6: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/6.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Grid の概念図の概念図の概念図の概念図
Campus Server/Gbit Ether
UXP‐‐‐‐VLinux
Solaris
Local Security
GRID インフラインフラインフラインフラVirtual Services, Network, File System,
Security, CPU Services, 。。。。。。。。。。。。。。。。
アプリケーション・レイヤーアプリケーション・レイヤーアプリケーション・レイヤーアプリケーション・レイヤー
Local Security
Virtual
Local
![Page 7: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/7.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
• Applications• Programming Tools/Problem Solving
Environment• Common Services(Grid Middleware)• Grid Fabric/Infrastructure
Gridの階層構造の階層構造の階層構造の階層構造
Middlewareの開発・整備・標準化がの開発・整備・標準化がの開発・整備・標準化がの開発・整備・標準化がGRIDの活動の中心にの活動の中心にの活動の中心にの活動の中心に
なっている。なっている。なっている。なっている。Globus Toolkit (Argonne National Lab.,ISI/USC)Legion (Univ.Virginia)
![Page 8: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/8.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
日本での日本での日本での日本でのActivity(1)(1)(1)(1)
1. Ninf プロジェクト (産業技術総合研関口智嗣氏)2.Parallel and Distributed System Performance Lab.
(RWCP 佐藤三久氏(現筑波大学))
3.Metacomputing/STA (原子力研究所計算科学推進センタ)
4. MOBA (Mobile Java System for the Grid)(早稲田大学 村岡教授)
5.International Workshop on Global and Cluster Computing (RWCP,電総研共催,1998,2000)
![Page 9: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/9.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
日本での日本での日本での日本でのActivity((((2))))
1. Super-SINET (文部科学省)2. IT Based Laboratory(ITBL) (文部科学省)3. グリッド研究センター (産業技術総合研関口智嗣氏)4....東工大 キャンパスグリッド、gfarm(松岡教授)
5555.阪大バイオグリッド(下条助教授)6. ナノグリッドプロジェクト(東北大金属研、岡崎機構,九大)7.Asia Pacific Grid (AP Grid)Workshop
2001年10月24日ー26日東京にて開催。(GGF,TransPAC,NSF,AIST共催。)
![Page 10: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/10.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
スーパーSINETプロジェクト
• 概要: 文部科学省傘下の研究機関、大学間を接続する10Gbpsの光通信 技術を用いた高速の研究用インターネット
– e-Japan重点計画に採択
– 先端的学術研究の高度な支援
– 学術研究の国際競争力を向上
– 高エネルギー・核融合科学、遺伝子情報解析、宇宙・天文科学、ナノテクノロジー、Grid研究等の基盤
• 運用開始: 2002年1月• 参加機関 (順不同)
– 国立情報学研究所、東北大学、東京大学、名古屋大学、京都大学、大阪大学、高エネルギー加速器研究機構、国立天文台、宇宙科学研究所、国立遺伝学研究所、核融合科学研究所(以上、運用開始時)
– 北海道大学、筑波大学、東京工業大学、岡崎国立共同研究機構、九州大学、早稲田大学、同志社大学等も参加予定
![Page 11: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/11.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
SuperSINET :Network Topology with International Links
U Tokyo
Tokyo hub
IMSU TokyoOsaka hub
Kyoto U
ICRKyoto U
Nagoya U
Nagoya hub
Osaka U
NIFS
KEKTohoku U
ISAS
NIIHitotsubashi
NIIChiba
NIG
NAO
Int’l link
As of January, 2002
APAN through IMnet
Courtesy:National Institute of Informatics
![Page 12: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/12.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
ITBLプロジェクト• 概要: 「e-Japan重点施策」におけるGridプロジェクト
– H.12年度より新しい研究スタイルの実現と研究開発の促進を目的にプロジェクト開始
– 参加機関の計算機資源・研究情報資源を高速ネットワークで接続しネット上に仮想研究所を実現
– 原研/理研がミドルウェア(基盤)、大容量・高セキュリティのネットワーク技術を開発
– 参加機関が関連アプリケーション・データを整備
• 開始時期:2000年度
• 内容: ミドルウェア開発、スパコン整備、関連アプリ研究・開発等
• 参加機関
– 日本原子力研究所
– 理化学研究所
– 科学技術振興事業団
– 航空宇宙技術研究所
– 物質・材料研究機構
– 防災科学技術研究所
– 大学等も参加予定
http://www.jaeri.go.jp/open/press/001116/index.html より
![Page 13: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/13.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
インフラ
多機関にまたがる多種多様な計算機,ネットワーク群
Gridコンピューティング
基本ツール群
Gridコンピューティング
高機能ツール群
Gridコンピューティング
アプリケーション群
GridアーキテクチャとアーキテクチャとアーキテクチャとアーキテクチャとITBL
計算機,ネットワークの多様性を吸収
特定のアプローチに基づきメタコンピューティングアプリを構築するためのインタフェースを提供
ITBL
・・・
地域数値環境 材料設計 ・・・
レプリカ管理ツール
各研究機関の強みであるハードウエア・ソフトウエア資源
高速ネットワーク(Super-Sinet)
航空宇宙
CactusCondor
Etc.
各大学の強みであるハードウエア・ソフトウエア資源
ポータル機能、個人・共用ツール登録機能など
グリッドアプリケーション構築支援ツール群
共同作業支援ツール群
グリッドアプリケーション実行支援ツール群
通信ライブラリ
資源割当てツール
セキュリティツール
資源情報提供ツール
スケジューリングツール
Globus
STAMPICH‐G2
((((参照)参照)参照)参照)
アプリケーション
![Page 14: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/14.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Grid Forum((((Key players))))-NASA:Information Power Grid ((((W. Johnston))))-DOE: ASCI DISCOM2 Program
Science GRIDANL Globus Project ((((I. Foster))))NERSC ((((H. Simon))))
NGI Integrated Grid Architecture-NSF:National Technology Grid ((((NCSA,,,, UIUC),
Metasystems Thrust (SDSC NPACI,,,, UC San Diego)-DOD:HPC Modernization Programその他のその他のその他のその他のApplication‐‐‐‐Orientedななななグループグループグループグループ
GriPhyN(NSF)NEESgrid ((((ANL, Michigan,NCSA,UIUC,USC)Earth System grid (DOE)
![Page 15: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/15.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Global Grid Forum Workshop
• 第第第第1回は回は回は回は2001年年年年3月月月月4日‐日‐日‐日‐3月月月月7日、日、日、日、 アムステルダムにて開催アムステルダムにて開催アムステルダムにて開催アムステルダムにて開催
米国の 米国の 米国の 米国のGrid Forumとととと Euro GRIDとの合同との合同との合同との合同
参加者は 参加者は 参加者は 参加者は28ヶ国からヶ国からヶ国からヶ国から350名名名名 日本からも 日本からも 日本からも 日本からも10名程度参加名程度参加名程度参加名程度参加
• 第第第第2回は回は回は回は7月月月月15日‐日‐日‐日‐18日、ワシントン日、ワシントン日、ワシントン日、ワシントンDC。。。。
• 第第第第3回は回は回は回は10月月月月21日日日日-24日、イタリア。日、イタリア。日、イタリア。日、イタリア。
• 第第第第4回は回は回は回は2002年年年年2月月月月17日日日日-20日にカナダ日にカナダ日にカナダ日にカナダ(トロント)にて開催。トロント)にて開催。トロント)にて開催。トロント)にて開催。
• 富士通(富士通(富士通(富士通(FAI) もスポンサもスポンサもスポンサもスポンサ
![Page 16: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/16.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
---- アプリケーションとの適合性アプリケーションとの適合性アプリケーションとの適合性アプリケーションとの適合性
Multi----Discipline ((((連成アプリ)連成アプリ)連成アプリ)連成アプリ)
PCクラスタクラスタクラスタクラスタ/MPPの延長線としての応用?の延長線としての応用?の延長線としての応用?の延長線としての応用?
Embarrasingly Parallelなものなものなものなもの
(Monte Carlo, Parameter Survey etc.)
- Application に即した上位レベルのに即した上位レベルのに即した上位レベルのに即した上位レベルのLayerの開発はこれから。の開発はこれから。の開発はこれから。の開発はこれから。
(例: 例: 例: 例: Condor,,,,Nimrod,,,,CACTUS)
---- 装置やデータベースと計算資源とのヘテロなリンクが現実的な装置やデータベースと計算資源とのヘテロなリンクが現実的な装置やデータベースと計算資源とのヘテロなリンクが現実的な装置やデータベースと計算資源とのヘテロなリンクが現実的な
第一歩か? → 第一歩か? → 第一歩か? → 第一歩か? → PetaByte Class Storageへの要求への要求への要求への要求
(例:天文台、加速器、電子顕微鏡、遺伝子例:天文台、加速器、電子顕微鏡、遺伝子例:天文台、加速器、電子顕微鏡、遺伝子例:天文台、加速器、電子顕微鏡、遺伝子/蛋白データバンク等)蛋白データバンク等)蛋白データバンク等)蛋白データバンク等)
ApplicationsGrid Applicationsの課題の課題の課題の課題
![Page 17: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/17.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Application 1
Cactus Flesh
Application 2 ...
Sub-app
AMR (GrACE, etc)
MPI layer 3 I/O layer 2
Unstructured...
Globus Metacomputing Services
User selectsdesired functionality…Code created...
Abstractions..
Remote Steer 2MDS/Remote Spawn
Legacy App 2Symbolic
Manip App
Cactusの例
![Page 18: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/18.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Layered structure of the framework
GLOBUSBasic information about job, infrastructure, authentication, queues, resources, etc.
MPICH-G2 Distributed high-performanceimplementation of MPI
CACTUS Grid-aware parallelizing- and communication-algorithms
Application Numerical application, unaware of the grid
![Page 19: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/19.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Gridのアプリケーション例のアプリケーション例のアプリケーション例のアプリケーション例
• Distributed computing• On-demand computing• Data‐intensive applications• Collaborative computing
人・計算資源・データ・装置等の融合人・計算資源・データ・装置等の融合人・計算資源・データ・装置等の融合人・計算資源・データ・装置等の融合
![Page 20: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/20.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
OVERFLOWwith latency-tolerant algorithms
MPICH-G“Grid-enabled” message passing
Globus services Security Directory Scheduling
Process mgmt Communication
ARC SGI O2000(California)
Argonne SGI O2000(Illinois)
OVERFLOW simulation: NASA Ames
![Page 21: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/21.jpg)
Tier 1
Tier2 Center
Online System
eventreconstruction
French Regional Center
German Regional Center
InstituteInstituteInstituteInstitute ~0.25TIPS
Workstations
~100 MBytes/sec
~0.6-2.5 Gbps
100 - 1000 Mbits/sec
Physics data cache
~PByte/sec
~2.5 Gbits/sec
Tier2 CenterTier2 CenterTier2 Center
~0.6-2.5 Gbps
Tier 0 +1
Tier 3
Tier 4
Tier2 Center
LHC Data Grid HierarchyCMS as example, Atlas is similar
Tier 2
CERN/CMS data goes to 6-8 Tier 1 regional centers, and from each of these to 6-10 Tier 2 centers.Physicists work on analysis “channels” at 135 institutes. Each institute has ~10 physicists working on one or more channels.2000 physicists in 31 countries are involved in this 20-year experiment in which DOE is a major player.
CMS detector: 15m X 15m X 22m12,500 tons, $700M.
human=2m
analysis
event simulation
Italian Center FermiLab, USA Regional Center
Courtesy Harvey
Newman, CalTech and
CERN
![Page 22: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/22.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Virtual Observatory((((VO):“The Archive is the Sky!”
- 地理的に分散した天体観測の巨大画像データ 地理的に分散した天体観測の巨大画像データ 地理的に分散した天体観測の巨大画像データ 地理的に分散した天体観測の巨大画像データ
ベースをカタログ化しインターネットでオンライン接続ベースをカタログ化しインターネットでオンライン接続ベースをカタログ化しインターネットでオンライン接続ベースをカタログ化しインターネットでオンライン接続
- インタラクティブなサーチ・マッチング・可視化インタラクティブなサーチ・マッチング・可視化インタラクティブなサーチ・マッチング・可視化インタラクティブなサーチ・マッチング・可視化
- サイズサイズサイズサイズ: multi-Petabyte40,000 square degrees is 2 Trillion pixelsOne band (at 1 sq arcsec) 4 TerabytesMulti-wavelength 10-100 Terabytes
Time dimension >> 10 Petabytes- Data Mining技術の応用が可能
IRAS 100µµµµ
ROSAT ~keV
DSS Optical
2MASS 2µµµµ
IRAS 25µµµµ
NVSS 20cm
WENSS 92cm
GB 6cm((((Courtesy:Dr.JimGray,Microsoft))))
![Page 23: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/23.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
光の周波数軸・時間軸上での光の周波数軸・時間軸上での光の周波数軸・時間軸上での光の周波数軸・時間軸上でのおうし座かに星雲(おうし座かに星雲(おうし座かに星雲(おうし座かに星雲(M1)
X-ray, optical,
infrared, and radio
views of the nearby Crab Nebula, which is
now in a state of chaotic expansion after a
supernova explosion first sighted in 1054
A.D. by Chinese Astronomers.
Slide courtesy of Robert Brunner @ CalTech.
Crab star 1053 AD
![Page 24: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/24.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
National Center for Microscopy and Imaging Research(SDSC)
(Source(Source(Source(Source:MarkMarkMarkMark Ellisman,Ellisman,Ellisman,Ellisman,
UCSD)UCSD)UCSD)UCSD)
![Page 25: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/25.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Distributed Supercomputing
SF-Express Distributed Interactive Simulation: Caltech, USC/ISI
• Starting point: SF-Express parallel simulation code
• Globus mechanisms for– Resource allocation– Distributed startup – I/O and configuration– Fault detection
• 100K vehicles (2002 goal) using 13 computers, 1386 nodes, 9 sites
NCSAOrigin
CaltechExemplar
CEWESSP
MauiSP
バトルシミュレーションの例バトルシミュレーションの例バトルシミュレーションの例バトルシミュレーションの例
![Page 26: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/26.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
米国の最近のホットな動き
- 企業も注目の様子企業も注目の様子企業も注目の様子企業も注目の様子
(Boeing, Pfizer,Ericsson,BMW,Glaxo,Smith-Kline等)
- IT企業も積極的に参画企業も積極的に参画企業も積極的に参画企業も積極的に参画
IBM,SUN,Microsoft, Intel,Platform ,AVAKI, Entropia
- 米国政府(米国政府(米国政府(米国政府(NSF) ---- Distributed Terascale Facility計画 ( 53M$)
13.6 Tflop/s + >450 Tbytes + >40Gbps NCSA, UCSD, ANL, Caltech ++++ SUN, IBM, Intel, Qwest , Comm.,Myricom, Oracle
- NSF Middleware Initiative (12M$)
Univ. Chicago,ISI/USC,Univ. Illinois,Univ. Wisconsin
![Page 27: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/27.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
欧州の最近の動き
‐ UNICORE (PLUS) (Germany)
‐ EuroGRID(EU) → Global GRID (GGRID)‐ e Science(U.K.)
![Page 28: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/28.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
UNICOREプロジェクト
• 概要: 異なったベンダーやセンター毎の運用ポリシーと独立に、スーパー コンピュータその他の計算資源へのシームレスなアクセスを提供する 技術
– スポンサ: ドイツ政府
– EUROGRIDプロジェクトの一環
• 期間: 1997年~2002年• 規模: 研究者にして約400人月程度
• 参加機関
– ドイツ気象庁
– Pallas社– Fujitsu Laboratories of Europe– スーパーコンピュータセンター(ユーリッヒ,カールスルーエ,シュツットカルト,
ミュンヘン,ベルリン,パダーボーン,ドレスデン)
• 補足: UNICOREとGlobusとの相互乗り入れのための新プロジェクト(GRIP)が発足
– 期間: 2002年~2003年– スポンサー: EU
![Page 29: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/29.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
EUROGRID :Partners
HPC Centers• CSCS Manno (スイス) • FZ Jülich (ドイツ)• ICM Warsaw (ポーランドポーランドポーランドポーランド)• IDRIS Paris (フランス) • Univ Bergen (ノルウェー)• Univ Manchester (イギリスイギリスイギリスイギリス)
Users• Deutscher Wetterdienst• EADS• debis Systemhaus
(Assistant Partner)
Volume: 33 person years, 2 MEuro funding( European Commission Grant ) Schedule:2000/11 - 2003/10
Integration• Pallas (Project Coordinator)
• FLE (Assistant Partner)
Source::::Karl Solchenbach, Pallas
![Page 30: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/30.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
Eurogrid: Domain-specific GRID
Bio-Grid Meteo-Grid CAE-Grid
Coupled simulations of aircrafts(e.g. structure and electromagnetism)
ASP solution foron demand localized weather prediction
Computation portalto bio–molecular applications
Source::::Karl Solchenbach, Pallas
![Page 31: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/31.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
今後のGRIDの展望
• 日本でも政府プロジェクトを軸に急速に発展日本でも政府プロジェクトを軸に急速に発展日本でも政府プロジェクトを軸に急速に発展日本でも政府プロジェクトを軸に急速に発展
• Grid MiddlewareGrid MiddlewareGrid MiddlewareGrid Middlewareの分野では世界の標準化への寄与が大切の分野では世界の標準化への寄与が大切の分野では世界の標準化への寄与が大切の分野では世界の標準化への寄与が大切
• 上位レイヤー(上位レイヤー(上位レイヤー(上位レイヤー(ProgrammingProgrammingProgrammingProgramming Tools/PSETools/PSETools/PSETools/PSE))))はははは新規開発の可能性新規開発の可能性新規開発の可能性新規開発の可能性 ���� アプリケーションとの連携 アプリケーションとの連携 アプリケーションとの連携 アプリケーションとの連携
• 実用性ではデータグリッドが先行か実用性ではデータグリッドが先行か実用性ではデータグリッドが先行か実用性ではデータグリッドが先行か
(高エネルギー、天文、バイオetc.) (高エネルギー、天文、バイオetc.) (高エネルギー、天文、バイオetc.) (高エネルギー、天文、バイオetc.)
• 日本の国情にあった展開日本の国情にあった展開日本の国情にあった展開日本の国情にあった展開
---- 地理的条件地理的条件地理的条件地理的条件
---- 潤沢な計算パワー潤沢な計算パワー潤沢な計算パワー潤沢な計算パワー
---- AsiaAsiaAsiaAsia PacificPacificPacificPacific地域での中心的存在(地域での中心的存在(地域での中心的存在(地域での中心的存在(APAPAPAP Grid)Grid)Grid)Grid)
• 計算センターの役割計算センターの役割計算センターの役割計算センターの役割
---- ユニークなアプリケーションユニークなアプリケーションユニークなアプリケーションユニークなアプリケーション////計算環境の提供計算環境の提供計算環境の提供計算環境の提供
---- Peta Byte級のデータグリッド拠点Peta Byte級のデータグリッド拠点Peta Byte級のデータグリッド拠点Peta Byte級のデータグリッド拠点
![Page 32: New All Rights Reserved, Copyright FUJITSU LIMITED 200 日本にお … · 2019. 12. 6. · International Workshop on Global and Cluster Computing ... -DOD:HPC Modernization Program](https://reader034.fdocuments.net/reader034/viewer/2022051903/5ff4e4907c32a8707e3986b9/html5/thumbnails/32.jpg)
All Rights Reserved, Copyright FUJITSU LIMITED 2002
((((1)))) Grid Compuitngははははアプリケーション指向アプリケーション指向アプリケーション指向アプリケーション指向/エンドユーザ指向エンドユーザ指向エンドユーザ指向エンドユーザ指向である。である。である。である。
((((2))))Global Grid Forumを通じてコミュニティの輪が世界的にひろがっている。を通じてコミュニティの輪が世界的にひろがっている。を通じてコミュニティの輪が世界的にひろがっている。を通じてコミュニティの輪が世界的にひろがっている。
((((3)ハードとしては計算資源、ネットワークインフラ、ストレージが必須。)ハードとしては計算資源、ネットワークインフラ、ストレージが必須。)ハードとしては計算資源、ネットワークインフラ、ストレージが必須。)ハードとしては計算資源、ネットワークインフラ、ストレージが必須。
((((4)ソフトウェアとしては共通となるミドルウェアの整備を中心とし進行中であるが)ソフトウェアとしては共通となるミドルウェアの整備を中心とし進行中であるが)ソフトウェアとしては共通となるミドルウェアの整備を中心とし進行中であるが)ソフトウェアとしては共通となるミドルウェアの整備を中心とし進行中であるが
各々の各々の各々の各々の アプリケーション分野に応じた研究環境レイヤーの整備はこれから。アプリケーション分野に応じた研究環境レイヤーの整備はこれから。アプリケーション分野に応じた研究環境レイヤーの整備はこれから。アプリケーション分野に応じた研究環境レイヤーの整備はこれから。
((((5)現実的なアプリでの有用性の検証が必要。)現実的なアプリでの有用性の検証が必要。)現実的なアプリでの有用性の検証が必要。)現実的なアプリでの有用性の検証が必要。
((((Data Gridのようなヘテロな話が先行か?)のようなヘテロな話が先行か?)のようなヘテロな話が先行か?)のようなヘテロな話が先行か?)
((((6)各サイトがユニークで魅力的なアプリを有する事が重要。)各サイトがユニークで魅力的なアプリを有する事が重要。)各サイトがユニークで魅力的なアプリを有する事が重要。)各サイトがユニークで魅力的なアプリを有する事が重要。
((((7)))) GridととととWeb Serviceとの統合化が今後数年で急速に進行するであろう。との統合化が今後数年で急速に進行するであろう。との統合化が今後数年で急速に進行するであろう。との統合化が今後数年で急速に進行するであろう。
( ( ( (Open Grid Service Architecture, Globus 3.0 ) ) ) )
まとめ