Windows HPC Server 講習会 第1回 導入編 1/2

20
Copyright 2011 Denso IT Laboratory, Inc. All rights reserved HPC Server 講講講 講 講講講 2011/8/24 デデデデデデデデデデデデデデ デデ

description

Windows HPC Serverに関する講習会。今回はHPC特に分散並列処理に関する歴史とHPC Serverの立ち位置、HPC serverのアーキテクチャと導入までを紹介しています。また社内利用者の多いMatlabをHPC Serverと絡めて利用するシナリオを独自に調査してあります。 https://tech.d-itlab.co.jp/omasutani/

Transcript of Windows HPC Server 講習会 第1回 導入編 1/2

Page 1: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Server 講習会第1回 導入編

2011/8/24デンソーアイティーラボラトリ 増谷

Page 2: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

1.HPC Serverとは ?

Page 3: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC とは高性能計算、 high-performance computing

メインフレーム (MPP massively parallel processing) に対し、 HPCC(High performance computing cluster) と呼ぶ

2011年 

Cluster

MPP

Constellations

2000年 

ClusterMPPConstellationsSMP

Top500 Supercomputer http://top500.org

Page 4: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC とは似たような言葉

並列コンピューティング 同一コンピュータ内のCPU群による並列処理 マルチプロセッサ (SMP,NUMA,SIMD,MIMD, マルチコ

ア ),OpenMP,Parallel Virtual Machine,MPI, ベクトル計算機 ,GPGPU分散コンピューティング

複数の環境の違うコンピュータを利用した処理 BOINC,distributed.net.SETI@home, グリッドコンピューティング

クラスタコンピューティング コンピュータを同一の目的で束ねて利用する Score,Beowulf,Globus,WindowsCCS,IBM IMS XRF,Oracle

RealApplicationCluster,MapReduce,Hadoopグリッドコンピューティング

広域に分散するコンピュータ資源を束ねて利用する Sun Grid Engine, Xgrid, Score, Globus

Page 5: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Server とはMicrosoft が提供する HPC 環境

前身は Windows Compute Cluster Server 最新版は Windows HPC Server 2008 R2

どのような HPC か?Cluster 型各種並列化のスタイルに対応

クラスタコンピューティング:各種 Windows 機を束ねて利用

分散コンピューティング: Windows 機であれば、サーバ、クライアント問わず参加可能。クラウドも。

並列コンピューティング:マルチコア、 GPGPU と組み合わせ可能

Page 6: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Server の特徴Windows 環境で、クラスタ構成を簡単に構築できます。 クラスタの運用管理ツールが一通りそろっています。 バッチ処理、 MPI など様々な形態のプログラミングモデ

ルに対応します。 Windows 7 マシンを計算ノードにでき、既存資産を最大

限に利用できます。 Windows Azureノードを計算ノードにでき、設備が無く

てもスケーラビリティーを確保できます。 GPGPU を応用した GPU クラスタを構成できます。 基本的には何台でも追加可能。東工大のTsubameも同じ

システム( 1296 ノード)。

Page 7: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Server の構成

Page 8: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Server の要件 ヘッドノード

OS として、 Windows Server 2008 R2(64bit) が必要 既存の Windows Server を利用 Windows HPC Server 2008 R2 ライセンスを購入

HPC Pack 2008 R2 Enterprise HPC を管理するミドルウェア

計算ノード ヘッドノードと同様 ヘッドノードを併用もできる

計算ノード( Workstation) OS として、 Windows 7 が必要 HPC Pack 2008 R2 for Workstation

※ すべてドメインに参加している必要がある 利用側

OS:Windows 7/Vista/XP, Windows Server 2008 R2/2008/2003 HPC Pack 2008 R2 Client Utilities

Page 9: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Server の利点使い慣れた Windows 環境を利用できる

利用中の Windows Server/Windows 7 マシンも利用可能

ウィザード形式による簡単なインストールGUI による簡単な利用、管理クラウドを容易に統合できるMPI など汎用的な API の用意

Page 10: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Server の利用シーン3D 復元

Bologna 大75 倍速 (4node 8core)

This 3-D reconstruction of the head of the thirteenth-century wooden statue Kongo Rikishi was produced using tomographic imaging software

http://www.microsoft.com/Casestudies/Case_Study_Detail.aspx?casestudyid=4000005927

Page 11: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Server の利用シーン衛星画像処理

Digital Globe

SGI サーバからの移行で、当初はLinuxクラスタを導入したが、「ソフトウェアのポーティングに大量の時間と労力を要した」。 Windows HPC serverに移行して、より素早く対応できるようになった。

http://www.microsoft.com/casestudies/casestudy.aspx?casestudyid=4000010064

Page 12: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

採用実績世界

http://www.microsoft.com/hpc/en/us/solutions/hpc-case-studies-government.aspx

INRIA 、 Fraunhofer 、 Mathworks 、 ING 保険、 Cornell 大、 Cambridge 大、 Audi , COMSOL etc…

日本http://www.microsoft.com/japan/hpc/solutions/

casestudies/default.mspx東京工大、同志社大、東大、京大、産総研、IBM,

NEC 、伊藤忠 CTC 、アスモ etc…

Page 13: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

東工大 TSUBAME2010 年 11 月の記録で

世界 4 位Green500 で世界 2 位1192TFLOPS1400 ノードGPGPU

デュアルアーキテクチャLINUX / Windows HPC Server 2008http://tsubame.gsic.titech.ac.jp/software-

architecture

Page 14: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

その他クレイのスパコン「 Cray CX1 」

Windows HPC Server 2008 搭載クアッドコア Zeon * 8350万円

Page 15: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

2. HPC Serverの導入方法

Page 16: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Server を導入するHPC クラスタへ参加する

Windows Server か Windows 7 のマシンを参加させる

HPC serverへアクセスして利用する

Page 17: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

導入イメージラボの環境

Windows HPC Server 2008 R2

HPC Pack 2008 R2 Enterprise

Head Node Compute Node

cob

Windows 7

HPC Pack 2008 R2 Workstation

Workstation Node

社内サーバ クライアント

Windows HPC Server 2003 / 2008 / 2008

R2

HPC Pack 2008 R2 Express

Compute Node

ここを説明

Page 18: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

トポロジ一覧

Page 19: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

HPC Pack のインストール詳しくは以下の文書を参照

http://soilwork/sites/DefaultCollection/hpc/Shared%20Documents/HPC%20Server%E5%B0%8E%E5%85%A5%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6.doc

HPC Pack•Cobサーバにあるインストールイメージを実行•[インストールエディションの選択]ページで、“ワークステーション”を選択•[クラスターに参加]ページで、ヘッドノード”cob”を入力

HPC PackSP1

•CobサーバにあるSP1インストールイメージを実行•パッチのインストール

サーバ管理者へ通知

•HPC Pack入れたよという(特に操作はいらない)•利用者権限をもらう

Page 20: Windows HPC Server 講習会 第1回 導入編 1/2

Copyright 2011 Denso IT Laboratory, Inc. All rights reserved

登録されたノードクラスターマネージャーで確認できる

リストに追加される

コア数などは自動的に収集される