Rescale Night #120161011

19
Rescale Night @ Tokyo #1 マイクロソフト グローバルブラックベルト HPC Tech Lead 田中 洋 [email protected]

Transcript of Rescale Night #120161011

Rescale Night@ Tokyo #1

マイクロソフトグローバルブラックベルトHPC Tech Lead田中 洋[email protected]

稼働中アナウンス済み / 構築中

米国中部Iowa

米国東部Virginia

米国政府Virginia

米国中北部Illinois

米国政府Iowa

米国中南部Texas

南ブラジルSao Paulo

西ヨーロッパNetherlands

北中国 *Beijing

南中国 *Shanghai

東日本Tokyo, Saitama

西日本Osaka

南インドChennai

東アジアHong Kong

東南アジアSingapore

東南オーストラリアVictoria

東オーストラリアNew South Wales

中央インドPune

カナダ東部Quebec City

カナダ中部Toronto

西インドMumbai

ドイツ北東**Magdeburg

ドイツ中部 **Frankfurt

北ヨーロッパIreland

米国東部2Virginia

イギリス2 Regions

US DoD East TBD

US DoD West TBD

* Operated by 21Vianet ** Data Stewardship by Deutsche Telekom

30 の地域でサービス中、36の地域まで拡大予定世界最大のインフラストラクチャ

中央韓国Seoul

南韓国TBD

米国中西部Utah

米国西部California

米国西部2California

100カ所以上のデータセンター ネットワーク網が全世界で第 2 位の規模 AWS の 2 倍、Google 6 倍の地域サポート

(2016年 10月 11日 現在)

https://azure.microsoft.com/en-us/regions/

イギリス2 Regions

フランス中部TBD

フランス南TBD

Container Service

VM Scale Sets

Virtual Machines

Batch

App Service

Service Fabric

Cloud Services

Azure Functions

Eng

inee

ring

Insi

ght

Timeline

Cloud Computing,2012

Windows HPC on Azure,2014

GPU on Azure, 2016 8月(プレビュー開始)

Hシリーズリリース (9/26)

Linux RDMA (InfiniBand)on Azure,2015 7月

ネットワークの高速化

より大規模なクラスターサポート

CAE 向けに最適なクラウドHPC Microsoft Azure

全世界36か所(IB付きは6か所)のDCのリソースで必要なときに、必要なリソースを迅速に確保して、高並列計算を効率的に

実行することができます。

CAE基盤に必要なRDMA、InfiniBandインターコネクトを用意。GPUインスタンスでプリ/解析/ポスト処理までクラウドで一貫した産業利用を可能に!

HPE社との包括的なアライアンス – FC(フレキシブルキャパシティ)

Redhat社との包括的なアライアンス - CCSP

オンデマンドに利用 CAEに最適なハードウェア グローバルアライアンスAzure HPC の取り組み

Windows とLinux のサポート

高速なInfiniBand、GPUサポート

多くのパートナー企業

セキュリティと専用線による接続性

• Redhat社と唯一、かつ包括的なアライアンス RHEL、JBOSSなどCCSP認証、一貫サポート

• HPE社との包括的なアライアンス – FC(フレキシブルキャパシティ)のリリース

• Altair、ANSYS社などCAE ISV各社と連携

• 日本での契約、裁判所の管轄も日本国法準拠

• 地域ニーズに応じたDCロケーションの提供。日本では東日本・西日本の提供。広域災害に正式に対応

• 専用線接続 ExpressRoute によるセキュアな接続を提供

• A8/A9 QDR InfiniBandインスタンスをリリース済み

• HaswellベースFDRのHシリーズインスタンスをリリース

• NVIDIA Tesla K80/M60搭載GPUインスタンス Nシリーズをリリース(プレビュー)

• Windows HPC Packを開発メーカーとして提供

• Linux ディストリビューション各社と連携(Redhat、Novel、Canonical)

マイクロソフトのパートナーシップHardware & Software

InfrastructureBig Compute Marketplace

CertifiedApplications

Visualization

Marketplace 上の HPC ソリューション

https://azure.microsoft.com/ja-jp/marketplace/

Dv2

DシリーズVersion2CPU進化

SSD搭載・CPU進化

D

Azure インスタンスラインナップ

G

大容量メモリ・SSD搭載

NC

NVIDIA GPU K80計算用途、

InfiniBand搭載(NC24r)

高CPU・低メモリ計算用途

F

最速CPU、InfiniBandFDR搭載

H

最大6TB SSD搭載DB用途

L

低価格・汎用

A

Aシリーズversion2登場 –

11月予定

Av2

NVIDIA GPUM60搭載

可視化用途

NV

HPC インスタンス (A8 - A11)スペック A8 A9 A10 A11

コア数 8 16 8 16

CPU Xeon E5-2670 2.6 GHz – Sandy Bridge

メモリ DDR 356 GB

DDR 3112 GB

DDR 356 GB

DDR 3 112 GB

標準データディスク 384 GB HDD 384 GB HDD 384 GB HDD 384 GB HDD

フロントネットワーク 10G bps Ethernet

バックエンドネットワーク QDR InfiniBand with RDMA N/A

リージョン 米国東部・西部・北中部・中南部、北ヨーロッパ・西ヨーロッパ、東日本

HPC v2 インスタンス: Hシリーズスペック H16r H16mr H8 H8m H16 H16m

コア数 16 16 8 8 16 16

CPU Xeon E5-2667 v3 3.2 GHz - Haswell

メモリ DDR 4112 GB

DDR 4 224 GB

DDR 4 56 GB

DDR 4 112 GB

DDR 4112 GB

DDR 4 224 GB

標準データディスク 2.0 TB SSD 2.0 TB SSD 1.0 TB SSD 1.0 TB SSD 2.0 TB SSD 2.0 TB SSD

フロントネットワーク 40G bps Ethernet

バックエンドネットワーク FDR InfiniBand with RDMA N/A

検証事例: STAR-CCM+

標準モデル「ル・マン」を使用。(1億400万セル)

1024コア (= 64ノード) までのスケーラビリティを確認。

Cent OS 7.1 + Intel MPI,並列ファイルシステム Lustre を構成。

https://blogs.technet.microsoft.com/jpitpro/2016/05/18/microsoft-azure-%E3%81%A7-star-ccm-%E3%81%AE%E4%BD%BF%E7%94%A8%E3%81%8C%E5%8F%AF%E8%83%BD%E3%81%AB/

検証事例: OpenFOAM Azure は InfiniBand の効果で多ノード時の

スケーラビリティが良好。 6ノード時にへこんでいるのは、全ケースに

おいて1回ずつしか実行できず、外れ値を排除できなかったため。

http://www.pccluster.org/ja/event/%E5%AE%9F%E7%94%A8%E3%82%A2%E3%83%97%E3%83%AA%E9%83%A8%E4%BC%9A%EF%BC%9AOpenFOAMBenchmarkTest-v2.pdf

14

Storage / Workspace

CON

SUM

E

WorkstationsCompute

Source: Alex Herrera, Jon Peddie Research

CREATE

On the road

Main office

Satellite officeDesign review / walk-through

Manufacturing

3D print / prototype

可視化用GPUインスタンス: NVシリーズスペック NV6 NV12 NV24

コア数 6 12 24

CPU Xeon E5-2690 v3 - Haswell

GPU1 x M60 GPU

(1/2 物理カード)2 x M60 GPU (1 物理カード)

4 x M60 GPU(2 物理カード)

メモリ 56 GB 112 GB 224 GB

標準データディスク 380GB SSD 680GB SSD 1.44 TB SSD

ネットワーク Azure Network Azure Network Azure Network

プレビュー価格(GAの50% OFF?)

63.24円/hourGRIDライセンス込

126.48円/hourGRIDライセンス込

252.96円/hourGRIDライセンス込

世界最高レベルのディープラーニング技術ImageNet で最高評価

28.225.8

16.4

11.7

7.3 6.73.5

ILSVRC 2010NEC America

ILSVRC 2011Xerox

ILSVRC 2012AlexNet

ILSVRC 2013Clarifi

ILSVRC 2014VGG

ILSVRC 2014GoogleNet

ILSVRC 2015ResNet

ImageNet Classification top-5 error (%)

2015年、マイクロソフトは、エントリーした5分野すべてで1位を獲得(ImageNet classification, ImageNet localization, ImageNet detection, COCO detection, and COCO segmentation)

計算用途GPUインスタンス: NCシリーズスペック NC6 NC12 NC24 NC24r

コア数 6 12 24 24

CPU Xeon E5-2690 v3 - Haswell

GPU1 x K80 GPU

(1/2 物理カード)2 x K80 GPU

(1 物理カード)4 x K80 GPU(2 物理カード)

4 x K80 GPU (2 物理カード)

メモリ 56 GB 112 GB 224 GB 224 GB

標準データディスク 380GB SSD 680GB SSD 1.44 TB SSD 1.44 TB SSD

フロントエンドネットワーク Azure Network

バックエンドネットワーク N/A FDR InfiniBand

with RDMAプレビュー価格(GAの50% OFF?) 57.12円/hour 115.26円/hour 229.5円/hour 258.06円/hour

Azure HPC for CAE の Web サイトできました!

Visit!! https://simulation.azure.com/

Tech SummitでAzure上のHPC/CAE利用について話します!HPC/CAE on Azureの始め方

CAE、N・Hシリーズについてデモ用意します!

http://microsoft-events.jp/mstechsummit/session/#CLD-017

11/2Day214:25-15:15@Room3