スケーラブルサーバ仮想化 vSMP Foundation概要 · スケーラブルサーバ仮想化...

スケーラブルサーバ仮想化

vSMP Foundation概要

スケーラブルシステムズ株式会社

アーキテクチャvSMP Foundation 概要

ScaleMP Versatile SMP (vSMP)

ソフトウエアベースのSMPシステムの構築

標準OSと標準HWだけで構築可能

• ユーザと管理者からは、完全に普通のSMPとして利用・運用可能

• HWは標準のクラスタ構成（InfiniBandは必須）

• vSMP Foundation によるSMPの実装（検証HWのみサポート）

スケーラブルシステムズ株式会社 3

versatile

1 多才の，多芸な，多方面にわたる，何をやらせてもうまい.

2 多目的に使用できる，何にでも利用できる.

サーバ仮想化


Aggregation複数のサーバ群を単一の

サーバとして提供

アグリゲーションシステム統合

複数のサーバ群を単一のサーバとして提供

システム分割単一のサーバを複数のサー

バとして提供

vSMP Foundationアーキテクチャ

• ScaleMP社が開発したソフトウエアによるSMPシステムを実現するアーキテクチャ– 標準コンポーネントを最大限に活用し、ソフトウエアによってシステムのSMP化を実現

• 従来のRISCやIA64プロセッサを利用した共有メモリシステムと同等のオペレーション環境を標準のクラスタ環境での実現を目指す– OSやISVアプリケーションを変更することなく、ワークロードの処理を可能とする

• SMPオペレーションの利点とクラスタのコストメリットの統合


Aggregation複数のサーバ群を単一の

サーバとして提供

アグリゲーション

vSMP Foundation – 特徴

•ソフトウエアによって、ユニフォームなアプ

リケーション実行環境を構築

•BIOS拡張によって、ソフトウエア階層に変

更なしでシステム構築

ソフトウエアによるSMP構築

•システム全体のキャッシュコヒレンシ

•システム全体のメモリコヒレンシ

•メモリアクセスのリアルタイムモニターによ

る最適化

コヒレントメモリ

•すべてのIOリソースに対して、シングルOS

がアクセス可能

•システム全体でシングルファイルシステムを

実現

共有IO


•標準的なIntel 64(x64/x86-64)システ

ムをソフトウエアによって統合し、シング

ルシステムを実現

シングルシステム

•一般的なブレードサーバでも、ラックマウ

ント型のサーバシステムでも利用可能

•インターコネクトして広く利用されている

InfiniBandを利用

標準ハードウエアで構築

•128台までのサーバのアグリゲーションと

最大256TBの共有メモリを持つシステム

の構築が可能

スケールアップ＆アウト

よくある質問とその回答

学術・研究的な技術で広く実証されたものではないのでは？

•vSMP Foundation は、既に多くのお客様がお使いで、また、その用途は非常に広範囲です。

•大手のシステムベンダーがvSMP Foundation を採用しています。

•継続してのシステム拡張と機能強化が図られています。システム導入後のアップグレードなども保障していま

す。

vSMP導入コストは高いのでは？

•従来型のSMPシステムと比較して、大幅なコスト削減が可能です。

•クラスタシステムとは、コンポーネントが同じであり、その部分でのコストは同じであり、運用コストや管理

ツールなどのライセンスと比較しても、vSMPのライセンスコストは、大きな比重を占めることはありません。

専用のアプリケーションが必要で、セットアップも面倒では？

•全てのアプリケーションは、変更修正不要で利用可能です。

•標準のLinuxディストリビューションが利用可能です。

•アプリケーションの最適実行のためにvSMP Foundation の機能強化と拡張を行っています。


Infin

iBan

dFabricNetwork

Boot

最大

12

8ノ

ード

まで

拡張

可能

vSMP Foundation

vSMP Foundation システム構築• 複数のコンピュータ（スケールアウト）• シングルオペレーティングシステム（スケールアップ）

オペ

レー

ティ

ング

シス

テム

AP

PA

PP

AP

PA

PP

AP

P

Infin

iBan

dFabric

クラスタコンピューティングリソース• 複数のコンピュータ（スケールアウト）• 複数のオペレーティングシステム

オペレーティングシステム

APP APP APP


APP APP APP


APP APP APP


APP APP APP


APP APP APP


APP APP APP

vSMP Foundation による仮想化


Infin

iBan

dFabricNetwork

Boot

最大

12

8ノ

ード

まで

拡張

可能

vSMP Foundation

オペ

レー

ティ

ング

シス

テム

AP

PA

PP

AP

PA

PP

AP

P


• 起動時にvSMP Foundationをロード

– サポートするブートデバイス：USB、IDE、CompactFlash、ネットワーク(PXE)

• IB Fabricの検証と最適なトポロジーの設定、仮想マシン(VＭ）のセットアップ

• OSロードとI/Oとメモリのコヒレンシの維持

– BIOSによってOS（及びOS上のソフトウエア階層）をシングルシステムとして利用可能

– 全てのCPU、メモリ、I/OリソースをシングルOSで利用可能

– I/OリソースをシングルPCI階層として統合し、利用可能



Infin

iBan

dFabricNetwork

Boot

最大

12

8ノ

ード

まで

拡張

可能

vSMP Foundation

オペ

レー

ティ

ング

シス

テム

AP

PA

PP

AP

PA

PP

AP

P

vSMP Foundation モジュール

• 個々のノードの構成（ＣＰＵ，メモリ、I/O）は均一である必要はない– プロセッサ速度、メモリ構成、I/O構成がそれぞれ異なるノードの統合が可能

– OSは、一つのCPUタイプ(プロセッサ速度、キャッシュサイズ）だけを認識

• 10以上の異なったコヒレンシ機構を利用し、データの一貫性を提供

• 共有メモリ– ボードレベルでのキャッシング

– メモリマイグレーションとレプリケーション



Infin

iBan

dFabric

オペ

レー

ティ

ング

シス

テム

AP

PA

PP

AP

PA

PP

AP

P

メモリアグリゲーション

• 個々のノードの構成（ＣＰＵ，メモリ、I/O）は均一である必要はない– プロセッサ速度、メモリ構成、I/O構成がそれぞれ異なるノードの統合が可能

– OSは、一つのCPUタイプ(プロセッサ速度、キャッシュサイズ）だけを認識

• 10以上の異なったコヒレンシ機構を利用し、データの一貫性を提供

• 共有メモリ– ボードレベルでのキャッシング

– メモリマイグレーションとレプリケーション



Infin

iBan

dFabric

オペ

レー

ティ

ング

シス

テム

AP

PA

PP

AP

PA

PP

AP

P

ストレージアグリゲーション

• クラスタファイルシステムなどを利用することなく、全プロセッサコアからのファイル共有、ネームスペースの共有が可能

• vSMP Foundation を利用したSMPシステムを利用しての大規模ファイルサーバの構築も可能

• ソフトウエアRAIDやハードウエアRAIDでのディスク統合



シングルシステム


Infin

iBan

dFabric

オペ

レー

ティ

ング

シス

テム

AP

PA

PP

AP

PA

PP

AP

P

ソフトウエアRAIDなどの構成によって、同時に複数のHDDドライブへのアクセスが可能

また、各ノードにSSDなどの高速デバイスを搭載して、それらを共有して、大きなリソースプールとすることも可能

tmpfs/ramfsなどのメモリファイルシステムを利用することで、より高速なIO処理が可能

ディスク SSD メモリ CPU

大容量の共有リソースシングルメモリアドレス全てのリソースへのアクセスが可能

透過的に全てのメモリ、CPU、I/Oリソースを利用可能

IOデバイスの統合


全ノードの物理ディスクをシングルシステムとして利用可能

↓標準のLinuxのツールを利用して、システム全体のモニターや管理が可能

↓複数ノードのデバイスを統合して利用することも可能となります。RAID構成などを組むことで、高いバンド幅を持つストレージシステムとしても利用可能です。

Linux iostatコマンド

IOアグリゲーション


SAS2 HBA(LSI) に8ドライブを搭載した8台のサーバでシングルVMを構築

vSMP Foundation では、7.5 GB/sの実効性能(Raw, Read) を実現し、また、ストレージコントローラ数に対してリニアな性能向上を示す。加えて、アプリケーションは多くのプロセッサとメモリも利用可能となる。

vSMP Foundation IO性能事例

• SSD(256GB) × 7 way RAID0 ファイルシステム

– Write 性能 : 約1000MB/s (iostatモニタ)

– 7つのデバイス（SSD)が均等なIO性能を示す


avg-cpu: %user %nice %system %iowait %steal %idle

0.20 0.00 4.92 0.50 0.00 94.38

Device: tps MB_read/s MB_wrtn/s MB_read MB_wrtn

sda 1.99 0.00 0.02 0 0

sdb 287.06 0.00 137.31 0 276

sdc 274.63 0.00 137.31 0 276

sdd 273.63 0.00 136.82 0 275

sde 273.63 0.00 136.82 0 275

sdf 275.12 0.00 137.56 0 276

sdg 272.64 0.00 136.32 0 274

sdh 273.13 0.00 136.57 0 274

md0 122592.54 0.00 957.75 0 1925

＊ umount後のバッファキャッシュをクリアした状態でテスト

可用性・信頼性機能

• ハードウエア（ノードに依存）– 冗長電源・冗長冷却ファン・メモリミラー

• vSMP Founation アーキテクチャ– アクティブ-アクティブバックプレーン

– フォールトトレランス – 故障コンポーネントを排除して即時リスタート可能

– パーティション / コンテナサポート

• リモートマネージメント（ハードウエアベンダ＋ScaleMP)– ハードウエア筺体マネージメント

– vSMP Founadtion SOL(Serial-over-LAN)サポート


Infin

iBan

dFabric

InfiniBand Fabricの多重化


InfiniBand Fabricの2重化障害時にも継続オペレーションが可能

InfiniBand HCAの多重化性能向上と可用性の向上

Infin

iBan

dFab

ric

Infin

iBan

dFabric

Infin

iBan

dFabric

Infin

iBan

dFabric

シングルオペレーティングシステムシングルイメージ（共有メモリ）シングルインフラストラクチャ

• 運用・管理のための特別なツールやソフトウエアを必要としない

• クラスタシステムで問題となるファイルシステムの問題ない

• 全プロセッサ・コアは、全てのI/O リソースへのアクセスが可能

• システムがよりシンプルなものになるため、システムの運用管理業務が大幅に簡素化

• 現在のサーバが抱える「メモリの搭載量の限界」を解決

• 業界標準の計算機システムを利用して、CPUリソースと独立にメモリ容量を増やすことが可能

• “マシンバランス”に優れたサーバシステムの実現が可能

• スレッドを利用したアプリケーションが、より多くのプロセッサ・コアの利用が可能

• 高い処理能力をオンデマンドで提供するアーキテクチャ

• ワークロードに合わせて柔軟にシステムを構成することが可能

• ジョブやプロジェクト、あるいは顧客毎に仮想マシンを構築、プロビジョニングすることが可能

• ワークロードの拡張に柔軟に対応可能

• クラウドインフラストラクチャに容易に適用

vSMP Foundation導入のメリット


製品概要とライセンスモデルvSMP Foundation 概要

vSMP Foundation 仕様

1. プロセッサコアもしくは論理プロセッサ

2. ノードに障害が発生した場合、その障害ノードを排除してVMの再起動を行う

3. 1台もしくは2台のInfinIBandスイッチへのパラレル接続をサポート（シングルまたはマルチ構成のHCA)

4. 4ノードまでをInfiniBandスイッチなしで接続することが可能

5. 最大4台のHCAのパラレルでのアクセスを可能とし、VM内のノード間のバンド幅の向上を図る.

6. 一つのVMをより小さなVMに分割することを可能とする

7. クラスタ/グリッド/クラウドのリソースを利用しSMPシステムのプロビジョニングを行う

8. 最適化Linuxカーネルやハイパフォーマンス処理を支援するソフトウエアやツールを提供

9. 起動時にvSMP Foundationをロードするメディアは USB, CompactFlash. SDカードで提供

10. PXE プロトコルをサポートし、ネットワークからの起動が可能


ノード仕様

サポートプロセッサ

Intel Xeon 5xxx, 6xxx, 7xxx 番台Intel Xeon E5-x6xx, E7-x8xx 番台AMD Opteron 6100 、6200、6300 シリーズ

最大プロセッサ速度無制限

最大プロセッサ数 1） 256

メモリサイズ（GB) (最小/最大) 8 / 8,192

VM仕様

ノード数 (最小 / 最大) 2 / 128

最大プロセッサコア数 1） 32,768

最大メモリサイズ(TB) 2,048

インストールメディア

vSMP Foundation:フラッシュドライブ 9）

vSMP Foundation Advanced Platform: フラッシュドライブ又はネットワーク 10）

VM機能

フォールトトレランス機能 2）

基本機能に含むバックプレーン冗長構成 3）

ノード間直接接続（DC2）4）

バックプレーンスケーリング 5）

vSMP Foundation Advanced Platform

パーティション機能 6）

オンデマンドSMPプロビジョニング 7）

付随ソフトウエア

vSMP Productivity Pack 8）基本機能に含む

Profiler: オプション

•

-active IB,

r to ke n

26-Oct-13

ライセンスモデル

• 必要とするリソースに対してライセンス課金– 購入されていないリソースのデバイスはVMでは利用出来ない

• プロセッシングリソース（ソケット数もモデルタイプ）– 稼働しているプロセッサのみ– プロセッサモデル毎にトークン数を規定

• メモリ使用量– システムキャッシュとして使用されるメモリには、課金しない

• AnyIOデバイス– 稼働しているデバイス(accelerators, GPUs, etc.) のみ

• モデル毎にトークン数を規定

• vSMP Foundation Advanced Platform– VMパーティション設定、オンデマンドVM起動、IBのアク

ティブ‐アクティブ構成、フローティングライセンス– プロセッサトークンとメモリトークンには50％の追加料金

• ソフトウェアのメンテナンス– 初年度無料サポート– オプションメンテナンスはライセンス費用の25%/年（ライセンスと同時購入時は、ライセンス費用20％/年）

スケーラブルシステムズ株式会社 2226-Oct-13

メモリ容量（実効）

プロセッシングリソース

I/O:

AnyIO 稼働デバイス

VM構築オプション

システム拡張

• プロセッサとメモリ、I/Oをスケーラブルに拡張可能

• スケーラブルなアプリケーション性能

• 様々なAPIでのアプリケーション実行

メモリ拡張

• ノードのメモリだけをVM拡張

• 少ないコア数で大容量のメモリ構成が可能

• メモリファイルシステム利用による高速I/O処理


アプリケーション


Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O



Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

vSMP Foundationライセンス


仮想化SMP

柔軟性

性能・機能

スケーラビリティ

ライセンス

オンデマンドSMP

マルチレールInfiniBand

フローティングライセンス

最大128ノード

vSMP Foundation Advanced Platform

vSMP Foundation

最大32ノード

ノードロックライセンス

静的VM

シングルレールInfiniBand

vSMP Foundation

vSMP Foundation ライセンス


システム拡張（System expansion）モードは、ワークロードの要求に合わせて必要なリソース（CPU,メモリ、I/O)を選択して利用することが可能です。メモリ拡張（Memory Expansion)モード

では、複数システムのメモリを利用して大容量メモリシステムの構築を可能とします。

vSMPFree

vSMP FoundationvSMP Foundation

Advanced Platform

メモリ拡張

メモリ拡張

システム拡張

メモリ拡張

システム拡張

拡張

性・

機能

最大ノード数：複数ノードをシングルVMに統合し、最大32,768コア、256TBメモリのスケーラブルSMPの構築が可能 8 32 32 128 128

プロセッサとI/Oデバイス：プロセッシングユニットとI/Oデバイスとして利用可能なノード数 1 1 All 1 All

カスタマイズ自在のSMP：プロセッサ(インテルもしくはAMD)、ノードサイズ（2ソケット、4ソケットまたは8ソケット）、I/Oオプション (1GigE、10GigE、Fibre-Channel、SASなど) などからニーズに合わせて柔軟に選択可能

✔ ✔ ✔ ✔ ✔

プロセッサ拡張性：ノードあたりの最大プロセッサ数 / VM あたりの最大プロセッサ数 4/4 4/4 4/64 All All

メモリ拡張性：VMあたりの最大メモリサイズ 1 TB 8 TB 8 TB 256 TB 256 TB

AnyIO：アクセレータ(GPGPUなど）、ストレージ、ネットワークコントローラなどを含むI/Oデバイスの拡張リストのサポート

組み込み組み込みユーザ指定

ユーザ指定

リソース拡張：より多くのリソースが必要となった場合の拡張性 ✔ ✔ ✔ ✔

性能

高性能ストレージ：パラレル、ノンブロッキング、スクラッチボリュームのスケーラブルな組み込み高速ストレージ ✔ ✔

Active-active マルチレール InfiniBand：ボードあたり最大4枚のHCAの利用が可能で224Gbps（FDR)の帯域を提供 ✔ ✔

メモリ配置制御：ユーザがプロセスとメモリ配置を指定することが可能な拡張APIとコマンドを提供 ✔ ✔ ✔ ✔

可用

性

RAS機能：ボードレベルでの障害隔離と自動システムリカバリーによって、ユーザの介在なしでシステムの運用も可能 ✔ ✔ ✔ ✔ ✔

Active-passive マルチレール InfiniBand：InfiniBandの冗長化によって、可用性の向上をシームレスに実現 ✔ ✔ ✔ ✔ ✔

柔軟

性

SMPシステムをパーティション構成で分割：独立した複数の小規模SMPシステムで利用可能 ✔ ✔

複数のVMでInfiniBandファブリックを共有：リソースを効率的に利用可能でインフラストラクチャのコストを削減 ✔ ✔

オンデマンドのSMPシステム：通常のクラスタシステムを動的に再構成して任意のノードでSMPシステムの構築が可能。また、クラスタ管理システムへの統合も可能

✔ ✔

ライセンスモデルノードロックフローティング

ライセンス価格無償お問い合わせください

サポートスケーラブルシステムズとScaleMP

セカンダリーモジュールノードは任意

vSMP Foundation起動方法


プライマリーモジュールノードは固定

ノードロックでのライセンス利用時はvSMP Foundation をUSBモジュールなどで提供

DHCPサーバPXEサーバ

ネットワークライセンスでは、vSMPイメージをPXEブートで起動

ノードロック .vs. ネットワーク

vSMP Foundation構成


• 64台のサーバから構成

• 128プロセッサ、1024コアシステム

• 4.2 TB 共有メモリ

• デュアル IB HCA 構成

プロセッサ情報


% cat /proc/cpuinfoデュアルソケット構成のプロセッサを利用して、256コア構成のSMPシステムを構築

% numactl --hardwareLinuxではNUMA(Non Uniform Memory Access) での最適なプロセス、メモリ配置をサポートするAPIが用意されています。

numactlは、このAPIを利用してノードやメモリの配置を確認したり、指定したりすることが可能です。

ソリューション紹介vSMP Foundation



Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

スケーラブルSMPソリューション

• アプリケーションのリソース要件に応じてメモリの拡張が可能• 全プロセスが全てのリソースの利用が可能• スケールアウト型コンポーネントを利用してスケールアップ型システムを構築可能

• 膨大なデータを高速なメモリ上に保持することで高速なプロセス間通信を実現



Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

大容量メモリソリューション

• 低コストでTBクラスのメモリを利用可能• メモリに投資を集約し、無駄なCPUリソースを排除• アプリケーションは低速のHDDではなく高速のRAMを利用可能• アプリケーションのリソース要件に応じてメモリの拡張が可能• 低密度メモリを仕様して膨大なメモリ空間を実現



Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

サーバ統合ソリューションアプリケーションアプリケーションアプリケーションアプリケーションアプリケーション

• シングルシステムとして管理しデータセンターの運用を簡素化• 標準的な環境に全てのアプリケーションを集約• 複数システムではなく一台として管理することで運用コストを削減• 数百ものアプリケーションプロセスを同時に実行可能



Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

Memory

CPU CPU

I/O

オンデマンドソリューションアプリケーションアプリケーション

オペレーティングシステムオペレーティング

システム

• ワークロードのニーズに応じて仮想SMPを作成可能• 分散リソース管理ソフトとの連携・統合も可能• スケールアウト型クラスタを使用しスケールアップ型システムを構築• 標準のハードウェアプラットフォームを使用してワークロード要件に対応出来るようにデータセンターを最適化可能

vSMP Foundationソリューション


vSMP Foundationソリューション


大規模メモリ

• ビッグデータの潜

在力を解放しライ

センスコストを削

減

スケーラブルSMP

• 処理能力の向上と

複雑なシミュレー

ションの高速実行

を実現

オンデマンド

• ハードウェアの稼

働率の向上とクラ

ウドベースの柔軟

なデータセンター

を構築

サーバ統合

• KVMインフラの強

化とクラスタ管理

の簡素化を両立

vSMP Foundation による仮想化によるソリューション

大規模メモリソリューション

• ビッグデータの潜在力を解放しライセンスコストを削減

– ビッグデータの活用には大規模なメモリが不可欠

– 大規模シミュレーションでも大規模メモリが不可欠

– より多くのデータを高速なメインメモリに保持しておくことで、シミュレーションの高速な実行やビッグデータを活用した洞察力の強化が可能

• vSMP Foundationは、大規模メモリへの容易なアクセスを実現

– 複雑なプログラミングなしにあらゆるアプリケーションにおいてデータセットのサイズを柔軟に拡大することが可能


スケーラブルSMPソリューション

• 処理能力の向上と複雑なシミュレーションの高速実行を実現

– 幅広い業界のさまざまな環境における大規模共有メモリへの対応

– 数万CPUコア、テラバイト規模のメモリ、様々なI/Oデバイスをアプリケーションから透過に利用可能

– シングルOSの利点を生かした大規模計算処理の実行

• vSMP Foundationは、大規模メモリへの容易なアクセスを実現

– これまでにない規模の膨大なデータをメモリ上に保持しておくことで、同じデータに複数のアプリケーションから容易に高速アクセスが可能


シングルシステムの拡張


• システムをアグリゲーションして、必要なリソースのサーバを構築

ハードウエア境界コア数、メモリサイズの制限

ハードウエア境界の拡張多くのコア数、大容量メモリ

VMによるSMPシステム

コンピュータのHW障壁の拡張

アプリケーション動作・利用実績


その他、多くの独自開発アプリケーションでの利用…

Life SciencesComp. Chemistry

•AMBER

•CFOUR

•DOCK

•GAMESS

•Gaussian

•GOLD

•NWChem

•Octopus

•OpenEye FRED

•OpenEye OMEGA

•Schrödinger Jaguar

•Schrödinger Glide

•SCM ADF

•VASP

Molecular Dynamics

•GROMACS

•MOLPRO

•NAMD

•OpenEye ROCS

•Schrödinger Desmond

•Turbomole

ManufacturingStructural Mechanics

•ABAQUS/Explicit

•ABAQUS/Standard

•ALTAIR Radioss

•ANSYS Mechanical

• LSTC LS-DYNA

•NASTRAN

•TNO Diana

Fluid Dynamics

•ANSYS CFX

•ANSYS Fluent

•ANSYS TGrid

•AVL FIRE

•EXA PowerFlow

•EZNSS

•GeoDict

•MHD3D

•NASA Cart3D

•OpenFOAM

•STAR-CCM+

•STAR-CD

Other

•Comsol

• inTrace OpenRT

Energy•Norsar 3D

•Paradigm GeoDepth

•Schlumberger ECLIPSE

Bio-informatics• 454/Newbler

•ABySS

•Allpaths-LG

•Toxedo (Bowtie/TopHat/Cufflinks)

•CLC Bio

•FASTA

•HMMER

• Illumina

•mpiBLAST

•SOAPDenovo

•Trinity

•Velvet

Numerical Simulations•Octave

•R

•MathWorks MATLAB

•Wolfram Mathematica

Finance•KX

•Wombat

EDA•Cadence

•HSPICE

•Mentor

•Quartus

•Silvaco SmartSpice

•Synopsys

Weather Forecasting•MITgcm

•MM5 (MPI & OpenMP)

•MOM4

•WRF

RDBMS & Analytics•Actian VectorWise

•MySQL

•Oracle

•SAP HANA

•Sybase

vSMP Foundation 上で利用実績のあるアプリケーション

GPUアクセラレータでのVM環境


• 複数のアクセラレータのVM環境での利用

クラスタリソース＋GPGPUリソースプール

GPU

GPU

GPU

GPU

GPU

マルチGPUアクセラレータ搭載サーバを構築

GPU

GPU

GPU

GPU

GPU

マルチGPUアクセラレータサーバ

動的なアクセラレータリソース利用

オンデマンドソリューション

• ハードウェアの稼働率の向上とクラウドベースの柔軟なデータセンターを構築– ビジネスにおけるニーズの変化に伴ってサーバのワークロード要件も変化

– ビジネスの生産性を最大限に高めるには、最適なシステムを構築することがもっとも重要

• vSMP Foundationが備えるオンデマンドコンピューティング能力– ユーザのアプリケーションの大規模メモリまたはCPUに対する要求に応じて、シングルインスタンスのOSで大規模メモリVMあるいは共有メモリVMを作成し、柔軟に利用

– ワークロードが変化した時には、サーバを解放してクラスタに戻す


Linuxコマンド

Clusterリソースノード選択

対象ノードリブート

vSMP プロビジョニング

1．必要なリソースの選択

2．要求されるリソースに応じたvSMP Foundation 用ノードの選択

3．該当ノードのリブート

4. vSMP FoundationによるSMPシステムとしてのプロビジョニング

5. vSMPをネット上のサーバからPXEブートで起動

6. vSMP仮想化サーバとクラスタ

7. vSMP プロビジョンノードを通常ノードに転換

vSMP仮想化


vSMP仮想化でのプロビジョニング

SMPリソース

クラスタリーソース

Clusterリソース

既存サーバクラスタのVMの効果

• 今までの計算環境のまま、利用できるメモリサイズを増やすことが出来る

– CAEなどでのプリ処理やポスト処理（モデルの大型化に対応）

– イン・メモリでの高速処理（データベースなど）

– スレッドアプリケーション（Java、OpenMPなど）

• システム管理コスト（手間）の低減（次ページ）

• 計算機リソースの有効活用

– 必要な時だけ仮想化を行い、計算機リソースの最適な配置も可能


オンデマンドVM構築


• 要求されるリソースに応じたVMの動的構成

クラスタリソースリソースプール通常のクラスタシステムと共存

動的アグリゲーション

80コア512GBメモリ



180コア1TBメモリ

必要なリソースに合わせてVMを動的に構築ジョブ終了後はリソースを解放

リソースの有効活用とHW障壁の拡張

オンデマンドプロビジョニング


• 利用環境– 単一のハードウエアインフラ– アプリケーションに合わせてシステムを再構成可能

– ノード毎のプロビジョニングを動的に実行

• 運用管理– クラスタ環境での保守サービス– クラスタ利用と同じように必要なリソースに合わせてSMPシステム利用のリソース管理が可能

• 費用– 必要なハードウエアはクラスタシステム構築に必要なもので十分






必要なリソースに合わせてVMを動的に構築

リソースの有効活用とHW障壁の拡張

オンデマンド VM システム

クラスタリソース＋

vSMP Foundation + プロビジョニングソフト（クラスタ管理ツールやバッチシステムなど）

• vSMP Foundationを採用している多くのデータセンターは、オンデマンドVMを利用


用途とワークロード向けシステム最適化

http://acro-voice.com/index.php/data

クラスタ環境とvSMP仮想化

• 共通インフラ（クラスタ環境とvSMP仮想化環境）– クラスタノード– InfiniBand／OminiPath インターコネクト– 共有ファイルシステム（NFS、pNFS、Lustre、GPFSなど）

• ハードウエア– ハードウエア構成の変更は不要– クラスタ環境の一部、もしくは全てを仮想化可能

• ソフトウエア– OSは共通（特に、クラスタとvSMP仮想化で、OSとカーネルを変更する必要はない

– 多くのユーザが、クラスタ環境でもvSMP最適化カーネルを利用– BIOSのブートオーダーとPXE設定で、クラスタ（Native)とvSMP(仮想化）の切り替えが可能

• ストレージ– 共有ファイルシステムやNFSでクラスタ環境とvSMP仮想化環境でファイル共有が可能


透過的なシステム切り替えと運用

Infin

iBan

dFabric

最大

12

8ノ

ード

まで

拡張

可能

vS

MP

Fou

nd

atio

n


オペ

レー

ティ

ング

シス

テム

AP

PA

PP

AP

PA

PP

AP

P

Infin

iBan

dFabric

クラスタコンピューティングリソース• 複数のコンピュータ（スケールアウト）• 複数のオペレーティングシステム


APP APP APP


APP APP APP


APP APP APP


APP APP APP


APP APP APP


APP APP APP



従来型データセンター


• 利用環境

– アプリケーション毎の個別システム

– OSやコンパイラを別個に用意

• 運用効率

– 利用状況の変化に柔軟に対応出来ない

– 必要とするリソースの偏在

• 費用

– 専用機の導入コスト

– リソースの重複

128 ノードクラスタ• 128 x 16 (2048) cores• 4GB RAM/core

共有メモリシステム• 256 cores• 4TB RAM

Fat ノードクラスタ• 48 cores• 4 x 512 (2048) GB RAM

従来型データセンター

マルチコアによる並列処理

大容量メモリビッグデータ

リソースを固定

オンデマンド対応データセンター


OPEX&CAPEXの削減• 同じハードウエア基盤とソフトウエアを利用して、用途とアプリケーションに応じて、システムを動的に再構成

• 様々な計算機リソースのニーズに柔軟に対応可能– マルチコア– 大容量メモリ– マルチGPU..............

192 ノードクラスタ• 192 x 16 (3072) cores• 75% : 4GB RAM/core• 25% : 8GB RAM/core

オンデマンド対応データセンター

マルチコアによる並列処理

大容量メモリビッグデータ

動的にコンピュータリソースを再構成

バッチシステムとの連携


1. ジョブの投入2. ジョブの必要とするリソースから必要なクラスタリ

ソースの確保3. vSMP Foundation による確保リースでのSMPシステ

ムの動的構築4. 構築したSMP上へのジョブ投入5. ジョブ終了後、SMPリソースのクラスタへの還元

#PBS –N test#PBS –l select=4:ncpus=180 #PBS –l walltime=07:00:00#PBS . . .

#PBS –N test#PBS –l select=4:ncpus=40:aoe=vsmp#PBS –l walltime=07:00:00#PBS . . .

#PBS –N test#PBS –l select=4:ncpus=80:aoe=vsmp#PBS –l walltime=07:00:00#PBS . . .







リソース管理ツール

バッチジョブ

Clusterリソースノード選択

対象ノードリブート

vSMP プロビジョニング

1．必要なリソースの選択

2．要求されるリソースに応じたvSMP Foundation 用ノードの選択

3．該当ノードのリブート

4. vSMP FoundationによるSMPシステムとしてのプロビジョニング

5. vSMPをネット上のサーバからPXEブートで起動

6. vSMP仮想化サーバとクラスタ

7. vSMP プロビジョンノードを通常ノードに転換

バッチシステムとの連携


vSMP仮想化でのプロビジョニング

SMPリソース

クラスタリーソース

Clusterリソース

オンデマンド構築の利点


• クラスタシステムの持つリソースの冗長性を活用し、オンデマンドでSMPシステムを構築

• 利用ノードの動的選択によるオンデマンドプロビジョニング– クラスタプールからアプリケーションの実行時に必要なリソースを選択して、システム構築

– アプリケーションの利用終了後はプールへのリソース返却

– バッチシステムへの組み込みや商用のプロビジョニングツールとの連携も可能







クラスタの冗長性＋

SMPのリソース統合

クラスタの冗長性＋スケールアウト

オンデマンド構築の利点


• クラスタシステムとの共通ハードウエアコンポーネント– ハードウエアについて、共通のサポート体制

– 共通の管理ツールや診断ツールの利用が可能

– パーツなどの共用

• リソースプールからのSMP構築– 特定ノードのハードウエア障害によるサービス停止の回避

– 常に必要とするSMP計算リソースの確保




可用性＋

容易な保守サービス

クラスタの可用性＋スケールアウト

マルチシステムでライセンス共有


• 複数の計算リソース（データセンター、ロケーション）間でライセンスを共有– システムのリソースを柔軟に利用可能





DPサーバクラスタMPサーバクラスタ

ライセンスサーバがトークンベースでリソース利用状況を管理

投資効果とリソースの有効利用

サーバ統合ソリューション

• KVM¹インフラの強化とクラスタ管理の簡素化を両立

– クラスタを仮想化し運用と管理の容易なシングルシステムを構築可能

– 管理の複雑なクラスタソリューションに代わる理想的な選択肢を提供

• vSMP Foundation による仮想化

– クラスタシステムの設備投資メリットと高い性能

– 複雑なインストールや管理、運用コストの低減が可能

• KVM : Kernel-based Virtual Machine ハードウエア上で直接仮想マシンを動かす仮想化技術


サーバ・クラスタの課題

✓複数のシステムを通常のOSで一台として容易に管理することは出来ないだろうか？

✓アプリケーションがより多くのメモリを必要とする場合、ハードウエアの増設なしで実行出来ないだろうか？

✓短時間で導入出来て、また、必要に応じて、柔軟にコア数やメモリサイズなどのシステム構成の変更が出来るソリューションな無いだろうか？


システム管理者・ユーザ

仮想化によるシステム統合


OS

App App App App

OS

App

OS

App

OS

App

透過的に全てのメモリ、CPU、I/Oリソースを利用可能

全てのリソースへのアクセスが可能

管理標準のLinuxオペレーティングシステム

クラスタ管理ソフトウエア不要

利用ワークステーションやPCサーバと同様に利用可能

スレッド、OpenMP、MPIなどでのパラレル処理も可能

増設ノードを容易に追加可能

ソフトウエア環境の変更なし

システムの運用管理


OS

App App App App

OS

App

課題）複数のシステムを通常のOSだけで容易に管理することは出来ないだろうか？対応) 複数サーバを仮想化することで通常OSだけで複数のシステムを統合し、1台のサーバとして利用可能

OS

App

OS

App

アプリケーションの実行は通常のサーバと同じで高い互換性

シングルOSで複数サーバ分のリソースの管理

増設・アップグレード

• 質問）計算リソースの増設時に、従来の環境のまま計算能力の向上を図ることが出来ないか？

• 回答) ハードウエアを追加しても、vSMPでの仮想化によって、シングルOSで、全ノードを管理し、アプリケーションもそのまま利用可能


OS

App App App App

OS

App App App App

増設・アップグレード前後でOS環境とアプリケーションに変更なし

cvシングルOS

App App

仮想化システム上での仮想化

VM on VM• サーバリースを統合して、その統合された

VM上で必要なVMを再構築• サーバリースを一つのVMに集約• 統合されたVM上に任意サイズのVMを構築• Microsoft Windows にも対応

• 大容量メモリの活用• 広範囲なアプリケーション


OS

App

OS

App

OS

AppcvシングルOS

App App

VM on VM の実現


• サーバリースを統合して、その統合されたVM上で必要なVMを再構築（VM on VM)

サーバリースを一つのVMに集約し、１台のサーバとして構築

統合されたVM上に任意サイズのVMを構築

Microsoft Windows にも対応

VM on VM

Linux + Windows環境

VM on VM デモ


vSMPベースシステム構築


プラットフォーム（ハードウエア）

認証プラットフォー

ムの準備と

InfiniBandファブ

リックの構築

vSMP Foundation 実装

システム起動設定な

ど（vSMP

Foundation モ

ジュールの設定）

クラウド環境の構築支援（ネットワーク

ブート設定など）


Linuxプリインス

トールとvSMP

Foundation 向け最

適化

システム環境整備（ネットワークな

ど）

システムコンサルテーション

ツール・ミドルウェ

アインストールと調

整


実行環境の構築と

vSMP Foundation

環境でのシステム最

適化

プログラム最適化・並列化支援（最適化支援や並列化に関するコンサルテーショ

ン）

vSMPベースシステム構築


システムモニターや管理ツールLinuxの標準的なツールの利用が可能

ワークショップホームページトップページ > ソフトウエア > vSMP Foundation > プログラム実行ガイド


この資料の無断での引用、転載を禁じます。

社名、製品名などは、一般に各社の商標または登録商標です。なお、本文中では、特に® 、TMマークは明記しておりません。In general, the name of the company and the product name, etc. are the trademarks or, registered trademarks of each company. Copyright Scalable Systems Co., Ltd. , 2005-2017Unauthorized use is strictly forbidden.

お問い合わせ0120-090715

携帯電話・PHSからは（有料）03-5875-4718

9:00-18:00 (土日・祝日を除く）

WEBでのお問い合わせwww.sstc.co.jp/contact

スケーラブルサーバ仮想化 vSMP Foundation概要 · スケーラブルサーバ仮想化...

Documents

Transcript of スケーラブルサーバ仮想化 vSMP Foundation概要 · スケーラブルサーバ仮想化...