第14世代Dell EMC PowerEdge サーバー製品ご紹介<アーキテクチャ編>

2

時代はサーバーセントリックなSDDCに進む

IT Evolution to a Common Platform

これからの15年オープンで標準のx86 サーバーがベースとなりソリューションを構築

x86 サーバーコンピュート | ネットワーク | ストレージ

Optimized to SOFTWARE DEFINED

サーバー

ネットワーク

ストレージ

15年前3階層システム個別最適

10年前サーバーレベルの仮想化の出現

サーバー

ネットワーク

ストレージ

3

第14世代PowerEdge サーバーは各分野でNo1シェアを誇る各Dell EMC製品のベースに採用

ラックサーバー分野

No

.

No

.

No

.

No

.

コンバージド分野

VxRailVxRack

XC

ストレージ分野

UnityXtremeIO

CompellentElastic Cloud

Storage

仮想化分野

VMware、Hyper-VEnterprise Hybrid Cloud

Native Hybrid CloudMSクラウド プラットフォームシステム

No

.

データ保護分野

Data DomainData Protection Suite

Integrated Data Protection Appliance

+業界において最も広範なソフトウェア ポートフォリオで採用

SDS：ScaleIO、vSAN、ECS、IsilonSD Edge

データ保護：Avamar VE、DDVE、RP4VM、Networkerなど

クラウド：VMware、Pivotal Cloud Foundry

ネットワーキング：VMware NSX

4

PowerEdgeはDell EMC ソリューションのベース

Ultimate Flexibility

Massive Performance

Built for Flash Extreme Scalability

Superior Manageability

Cyber-Resilient Security

Rock Solid Reliability

Elastic Cloud Storage

Data Domain Appliance

Isilon Appliance

5

モダンITを実現するためのBEDROCK

SOFTWARE DEFINED DATA CENTER

HYBRID CLOUD + ON PREMISE DATA CENTER

VSAN | VXRail | VXRack | XC(Nutanix) | ScaleIO | MS S2D & AzureStack

Enterprise & Native Hybrid Cloud | On Premise Data Center

FOUNDATION BUILDING BLOCKS

Dell EMC PowerEdge

T H E B E D R O C K O F T H E M OD E R N D ATA C E N T E R

第14世代Dell EMC PowerEdge サーバー

新たに採用された新アーキテクチャの紹介

7

第14世代 Dell EMC PowerEdge サーバー

拡張性最新のテクノロジーを実装しあらゆるワークロードに柔軟に対応

自動化インテリジェントな自動化でコストを削減し、デジタルトランスフォーメーションを加速

保護ITライフサイクル全体をサポートする統合されたセキュリティ機能を搭載

8

Boot Optimized Storage

14G PowerEdge

NVDIMM

Storage Flexibility

クラスタのスケールアウトを支える低遅延インターコネクト

永続メモリによる超高速ブロックストレージ

高速ブロックストレージ＆キャッシュとしてのNVMeの搭載可能本数を大幅にアップ

• 2Uサーバーに搭載可能なGPUを2枚から3枚に拡張

• FPGAを新たにサポート

• Multi-Vector Coolingによるインテリジェントなエアフロー

冗長化されたブート専用SSD

「M.2」によりデータドライブと分離

• 1Uに前面3.5” & 背面2.5” の高密度筐体を追加

• 2U筐体の背面＆内部ベイの搭載量アップ

• 2U筐体に最大 490TB の SSDを搭載可能に

エージェントフリーアーキテクチャ & 業界標準のHTML5, REST API

Support Assistリモートサポート

Accelerator (GPU/FPGA)

PERC 10

25GbE with RDMA

Simplified Management

• 4GB/8GBキャッシュ

• SDS／HCIに最適化したeHBA モード

Security

サイバーレジリエントアーキテクチャ

NVMe Everywhere

より高性能なCPU

Intel Skylake CPU

第14世代PowerEdge サーバーに採用された主な新機能

PowerEdge Processor (Intel Skylake)

10

最新のXeon プロセッサーのオファリング

11

インテル® Xeon® プロセッサー スケーラブル ファミリー

インテル® Xeon® Platinum 8XXXプロセッサー

インテル® Xeon® Gold 6XXXプロセッサー

インテル® Xeon® Gold 5XXXプロセッサー

インテル® Xeon® Silver 4XXXプロセッサー

インテル® Xeon® Bronze 3XXXプロセッサー

最高のパフォーマンス、最も拡張性が高い。最大28個のコア、2~8ソケット対応

優れたパフォーマンス、あらゆるワークロード向け。最大22個のコア、2~4ソケット対応。3つのUPI。DDR＠2666。AVS-512（2つのFMA）

最大14個のコア、2～4ソケット対応。2つのUPI。AVX-512（1つのFMA）

最大12個のコア、2ソケット対応。Intel®ターボブーストおよびIntel® ハイパースレッディング。DD4＠2400

最大8個のコア、2ソケット対応。DDR4＠2133。

12

インテル® Xeon® プロセッサー スケーラブル ファミリー

13

14

PowerEdge StoragePERC / NVMe / SSD / HDD / BOSS

16

PowerEdge RAIDコントローラ製品

• 最高のパフォーマンスを誇る新しいH740P/H840

– メモリ帯域幅の増加（17GB/秒）によりメモリアクセスレイテンシの30%削減と処理能力の30%向上を実現

– 1Mを超えるIOPS容量

– SSDパフォーマンスの向上

– 8GB NVキャッシュ：4倍

– eHBAモード

• ソフトウェアRAID（S130/S140）をLinuxでサポート– FAQ：

https://dell.gosavo.com/Document/Document.aspx?id=38356587&view

=&srlid=50434271&srisprm=False&sritidx=1&srpgidx=0&srpgsz=25

PERC9：13G

H730P/H830 12Gb

1200MHzデュアル コア2GB、NV 72ビット（1866Mhz）

H730 12Gb

800MHzデュアル コア1GB、NV 72ビット（1333 Mhz）

H330 12Gb

キャッシュなし

S130

3Gb/6GbSWRAID SATA

内蔵HBA：HBA330 12Gb

キャッシュなし

H740P/H840 12Gb

デュアル コア4/8GB、NV 72ビット

H730P 12Gb

1200MHzデュアル コア2GB、NV 72ビット（1866Mhz）

H330 12Gb

キャッシュなし

内蔵HBA：HBA330 12Gb

キャッシュなし

外付けHBA 12Gb

キャッシュなし

外付けHBA 12Gb

キャッシュなし

ソフトウェアRAID

PERC9/10：14G

バリュー

バリューパフォーマンス

ハイパフォーマンス

S140

3Gb/6Gb

SWRAID SATA

新製品

新機能

17

iDRACによるPERCのエージェントレス管理の進化

• OS上にインストールするエージェントS/WであるOepnManage Storage Management（OMSM）でしか実現できなかったPERCの操作項目を、iDRAC9

では網羅

• 真のエージェントレスに進化

• Online Capacity Expansion（OCE）

➢ Virtual Diskのオンラインサイズ拡張

• RAID Level Management（RLM）

➢ RAIDレベルの変更（R6→R5等）

18

PERC10 RAID performance – preliminary results

19

PERC10 RAID performance – preliminary results

20

eHBA - enhanced HBA Modeの提供

Controller MegaRAID (w/ROC+DDR/CV)

Mode/Personality RAID eHBA Mode V1Potential eHBA Future Feature

Behavior Only VDs EPD EPD

Release 10.0 10.2 10.x

R5/50/60 Support ☑ ☒ ☒

R0/1/10 Support ☑ ☑ ☑

EPD ☒ ☑ ☑

JBOD ☒ ☒ ☒

QD Supported 2K-4K 3.5K-5K 3.5K-5K

LKM Support ☑ ☑ ☑

SED Pass-Through ☒ ☑ ☑

Slot Order Enumeration ☒ ☑ ☑

True Multi-path (1/2 PDs) ☒ ☑ ☑

Write Back ☑ ☒ ☑

Adapter Type (Reported) RAID SAS SAS

NTF ☒ ☑ ☑

21

Cache拡張 2GB NV to 8GB NV

Feature Firmware Release GCA

8GB NV Cache Enablement PERC10.1 1QCY18

JBOD Expansion >1 enclosure PERC10.1 1QCY18

Enhanced HBA eHBA PERC10.2 TBD

• Hardware design for H740P/H840 will launch with matching 8GB RAM & NV

• Initial useable will be 4GB NV due to firmware schedule

• PERC 10.1 Release will enable remaining 4GB NV Cache

22

急速に拡大するNVMeポートフォリオ

• 14GはNVMe 2.5インチPCIe SSDデバイスの搭載量が前世代比2～6倍アップ

• 広範囲におよぶNVMe PCIe SSD搭載PowerEdgeサーバー

1. ラック：R640、R740、R740xd、R940

2. タワー：T640

3. コンバージド：FX2（FC640）

• ドライブ製品の拡張

1. 新しい読み取り集中型のスイムレーン

2. 大量生産のためのデュアルサプライヤー戦略（SamsungとIntel）

3. システム管理と完全統合

4. カード ベースのソリューションを工場出荷時にインストール

NVMe＝Non-Volatile Memory express

2020年までにNVMe搭載サーバーが出荷の50%を超え、1台あたり平均5.5台のNVMeが装備されると予測

23

NVMeはメインストリームへ

Capacity Optimized HDD(Low-end HDD)

Performance Optimized HDD(10K/15K RPM HDD)

SAS SSD

PCIe/NVMe SSD

SATA SSD

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

2014 2015 2016 2017 2018 2019

ストレージ製品の移行（HDD/SSD)

出典： Gartner, Intel

HDD SSD PCIe SSDNVMe

SSD

インタフェース

SATA/SAS SATA/SAS PCIe PCIe

形状3.5

/2.5インチ2.5インチ PCIeカード

PCIeカード/2.5インチ

ドライバ AHCI/SCSI AHCI/SCSI独自ドライバ

NVMe

IOPS 100-200 10k-200k 100k-500k 500k-1M

バンド幅 200MB/s 1.0GB/s 3.0GB/s 4.0GB/s

レイテンシ 8ms 1ms 100μs 100μs

1991 2008 2013

2424

業界をリードする、NVMe / SSD搭載への取り組み

開発コミュニティへの貢献• 「NVMe コンソーシアム」にサーバーベンダーとして唯一設立メンバーとして参加

• Dell開発のSFF8639規格 (U.2コネクタ) をコミュニティに提供

サーバーベンダーで最も積極的なR&D投資• PCIe SSDをサーバー市場で最初に出荷

• NVMe PCIe SSDをサーバー市場で最初に出荷

• 汎用2.5” ドライブホットプラグベイ型PCIe SSDをサーバー市場で最初に出荷

• 業界最多のHCIポートフォリオ（国内シェアNo1）で市場のフラッシュ化をけん引

最新世代サーバーポートフォリオさらに強化• 対前世代サーバー比2～6倍の2.5インチPCIe SSD搭載量

• 広範囲におよぶNVMe PCIe SSD搭載モデル

25

PowerEdgeでもNVMeのメインストリーム利用を想定

R740XD : 最大性能、スループット重視（インメモリDB、OLTP）

R740XD : 最大容量、 IOPS主導型APL （vSAN、ScaleIO）

R640 : CPUダイレクトNVMe（HFT, HPC）

搭載量：13Gの2倍

搭載量：13Gの3倍

搭載量：13Gの6倍

26

NVMe テクノロジー比較 : PowerEdge 740xd

Possible Workload In memory database – OLTP, Performance throughput VSAN ScaleIO, other IOPs driven applications

PCIe Connectivity PCIe Switch (Extender Card)

1 Extender Card/4 NVMe devices

PCIe Switch (Extender Card)

1 Extender Card/12 devices

PCIe Architecture 1 Extender Card deliver

x16 PCIe lanes up & down (CPU & Downstream devices)

Max. of 12 devices supported by 48 lanes

1:1 Provisioning with 12 drives

1 Extender Card deliver

x16 PCIe lanes up & down (CPU & Downstream devices)

Max. of 24 devices supported by 32 lanes

3:1 Over-Provisioning with 24 drives

NVMe Device IOP

(4K)

Random Read = 700K

Random Write = 200K

Random Read = 700K

Random Write = 200K

NVMe Device Throughput

(GB/s)

Sequential Read = 3.2 GB/s

Sequential Write = 2.0 GB/s

Sequential Read = 3.2 GB/s

Sequential Write = 2.0 GB/s

MAX Device Throughputs

(GB/s)

Twelve (12)

Sequential Read = 38.4 GB/s

Sequential Write = 24.0 GB/s

Twenty-Four (24)

Sequential Read = 76.8 GB/s

Sequential Write = 48 GB/s

PCIe Typical Throughput

(x16) GB/s

12.8 GB/s

Times three (3) Extender Cards = 38.4GB/s

12.8 GB/s

Times two (2) Extender Cards = 25.6GB/s

Best/Highest Capacity

MU:6.4TB, RI: 8TB

Mixed Use = 76.8TB

Read Intensive = 96TB

Mixed Use = 153.6TB

Read Intensive = 192TB

24x NVMe12x

NVMe

27

Solid State Drives (SSD)

Portfolio Overview

• SSD share of drive shipments continues to increase, running at 20% of mix

14G Offerings

• Transitioning to 3D NAND

- Largest capacities – Toshiba SAS RI 15.36TB, SATA MU 8TB (2nd half CY17)

• Increased number of suppliers:

- SAS – Toshiba, HGST, Samsung

- SATA – Toshiba, Intel, Samsung, additional under consideration

• Data Security

- 14G will ship with Instant Secure Erase (ISE) capable drives as well as Secure Encrypted Drive (SED)

28

Hard Disk Drives (HDD)

Portfolio Overview

• HDD holds majority of drive shipments w/ an average

ship volume of 1.4M units per quarter

14G Offerings

• Largest capacity in 2.5” - 2.4TB (2nd half CY17)

• Largest capacity in 3.5” - 12TB (2nd half CY17)

• SAS interface offers SED (Self-Encrypted Drive) and

new ISE (Instant Secure Erase) capabilities

29

“BOSS” (Boot Optimized Storage Solution)

背景

• Dell EMCのSDSソリューションとパートナー様が、OSごとに別個のハードウェアブート コントローラを必要とした。そのニーズに対応するために、堅牢かつ冗長な低コスト ソリューションを提供。

機能セット

• 110 mm M.2 SATAデバイス x 1または2

• M.2デバイスは読み取り集中型120GB/240GB（S3520）

• 2.5インチと同じコストとパフォーマンス

• 固定機能ハードウェアRAID1（ミラーリング）

• シングル x8 PCIe Gen 3ホスト インターフェイス

• デュアル x1 SATAポートのデバイス インターフェイス

• ホストにはシングルSATAデバイスとして仮想化

• ハーフハイト/ハーフ レングスPCIeアダプタモジュール

PowerEdge Accelerators

31

CPU / GPU / FPGA の比較

GPU：SIMD• ベクトル化された浮動小数点に最適

• 有効利用には大規模データが必要

• 分岐または例外（if文）は不得意

FPGA：MIMD

• データ量の大小にかかわらず、多数の独立した命令の並列動作が可能

• IOデバイスによるストリーミングに最適

inst inst inst inst inst

time

data data data data data

inst inst inst

data

time

data

data

data

data

data

data

data

data

data

data

data

data

data

data

data

data

data

data

data

data

data

data

data

f2

f5

f3

f6

f4

f1 f7

• 依然としてコンピューティングのコア センター• 依然としてハイパフォーマンスの問題のサブセットに重点

• なくなることはないが、範囲は限定的

• GPUよりも広範囲

• 時間の経過とともに、エンタープライズアプリケーション向けにGPUよりも広範囲な普及が期待できる

CPU：SISD任意のプログラミング環境および言語に適用可能

非ベクトル化整数アプリケーション

32

GPUおよびFPGAのマーケットが拡大

* 世界最大手の市場調査企業であるMarketsandMarketsから毎年発行されているプレミアム市場の調査レポートに基づきます。MarketsandMarketsは、世界中の1,700社のFortune企業をはじめ、12業種にわたる多数のクライアントに年間1,200件を超えるプレミアム調査を提供しています。

• GPU（グラフィック プロセッシング ユニット）市場は2020年までに6,761万ドルを超える*

• FPGA（Field Programmable Gate Array）市場は2022年までに72

億3,000万ドルの規模になる*

•マイクロ秒単位で大量の数学的計算を行うディープ ラーニング用にCPU、GPU、FPGAの使用がかつてなく増加

•デジタル メッシュとスマート マシンでは、基盤テクノロジーとして、FPGA（Field Programmable Gate Array）を活用した高負荷コンピューティングが必要です

• 2015年12月に、IntelはAlteraが持つFPGAの専門技術を167億ドルで買収しました

33

Dell EMCによるGPU/FPGAを活用した高速化の展望

• ワークロードの増加 ： VDI、機械学習、データ分析により、GPUソリューションのニーズが引き続き増加

• 第14世代PowerEdgeでサーバーへのGPU提供を倍増

- R740、R740xd、R540、T640、T440

- R640で新しいビデオ カードを提供

- R740でのサポートを拡張（300W ダブルワイド GPU x 2 ⇒ 3）

- R740xdにGPU保有可能

• FPGAのサポートを追加。コンピューティングの高速化に加えて、ネットワークも高速化

34

3大ワークロードでのGPUによる高速化

• 機械学習

- P40/P100搭載R740/T640

- Caffe、CNTK、MXNet、TensorFlowと同様に複数のフレームワークをサポート

• データ分析

- P40/P100搭載R740/T640

- パートナーであるKineticaとMapDを活用

• VDI

- サーバーあたり100超のユーザーに対応するNVIDIAおよびAMD搭載R740/T640

- T440/R540には手頃なエントリー レベル オプションを用意

- 複数のハイパーバイザーをサポート

- vGPUを含むNVIDIAソリューションにはGRIDソフトウェア ライセンスが必要

35

GPU提供状況 : 第14世代PowerEdge サーバー

36

翻訳サービス業のお客様の事例学習速度は3倍に、導入コストは半分以下に

課題既存環境では人海戦術で翻訳をしていたが、これまでの翻訳データをナレッジ化して有効活用しようと模索していたところ、機械学習の活用に行き着いた。

既存サーバにおいて検証するも排熱が悪く、熱暴走および製品劣化の懸念があった。

クラウドも利用していたが、自由度が少なく、また費用が不明瞭となり、オンプレミス環境構築できるハードウェアを検討していた。

ソリューション• Dell PowerEdge C4130 12Node

• Tesla V100を1 Node辺り4枚搭載

• 合計48枚のGPUを導入

導入の効果• 既存サーバと比べて20度以上熱を下げられた

• クラウドと比較してGPU演算は数倍UP

• 導入コストは1/2以下に

• 学習速度が従来の3倍に

Why Dell?

• グローバルレベルの調達能力

• NVIDIAとの強固なパートナーシップ

• 他社に比べて優れた排熱機構による高い冷却性能

37

FPGAs – why & how?背景：

• CPUパフォーマンスの速度向上率が低下してくる...

機能：

• ムーアの法則が重要なアルゴリズムに使用できるまでの規模にFPGAを成長させた

• 物理接続機能へのFPGA統合の増加（PCIe、SerDes、数値演算ユニット）

• 広帯域幅メモリ インターフェイスのサポート：x86とのギャップ

エコシステム：

• 開発ツールの改善（OpenCL、C-to-HDLコンバータ）

• オフロード可能なソフトウェア

• IPデリバリ方法

• 重要問題に対するFGPA適用の実例と調査されたノウハウ

- NWルーティング/セキュリティのためのMicrosoft

- Microsoft Bing サーチ ランキングのアクセラレーション

- BaiduにおけるSQL処理

- Fintechにおける高頻度取引（High Frequency Trading）

シリコン プロバイダー：

• Intel/Altera ✓

• Xilinx ✓

出荷時インストール済み：ボード

• Intel : 2018年4月開始済み

• Xilinx : 2018年後半以降

第1弾

R640

R740

第2弾

R8x0

R9x0

第3弾

C41x0

C6x20

C6320p

サーバー：工場出荷時インストール予定

38

インテル PAC （プラグラマブル・アクセラレーション・カード）をサポート

インテル Programamable Acceleration Card

• PCIe対応のデータセンター向け FPGA アクセラレーション・カード。GPUと比べて非常に省電力（TDP : 60W）

• 汎用性が高く、今後はビッグデータ分析、人工知能、ゲノム解析、ビデオ・トランスコード、サイバー・セキュリティー、金融取引などのさまざまな市場分野に導入が進むと予測される。

• 現在はPower Edgeサーバのみが正式サポート

• 対応サーバ：Power Edge R640 / R740 / R740xd

• 近日対応予定：Power Edge R840 / R940xa参照URLhttps://www.altera.co.jp/products/boards_and_kits/dev-kits/altera/acceleration-card-arria-10-gx.html

39

サーバーの冷却を重要視

業界初のGPU、FPGA向けLFM (Linear Feet per Minute) エアフロー自動チューニング機能

Multi Vector Cooling• 第14世代PowerEdgeは、GPUおよびFPGA （Field

Programmable Gate Array）向けに設計

• 業界初のカードごとのLFM自動チューニング

• エアフローの屈曲レベルによるクラス最高のPCIeカードの熱コントロール

• iDRAC9では、使用中のPCIeカードの寿命延長とパフォーマンス最大化のために、LFM（Linear Feet per Minute）ターゲット（エアフロー）を各PCIeスロットに個別に割り当て

• 正確なサイジングと最適なカード配置のためのスロットごとのエアフロー機能を表示

40

クラス最高の熱効率機能を装備

• システムエアフローを中心に設計された新しいシャーシ構造

• 冷却効率向上のためにエアフローを大幅に改善

- R740xdでは17～50%向上（R730xdとの比較）

- R640では15%向上（R630との比較）

- R740では11%向上（R730との比較）

• システム機能セット/密度向上のメリット

- 高TDP（Thermal Design Processor）オプションをすべてサポート

- R740は2 GPUから3 GPUに増加

- システムあたりのPCIe-SSDデバイス数が増加

• 構成に関する制限事項の減少

- 高密度ストレージ構成 + トップ プロセッサー + メモリ構成 + GPU

を兼ね備えた業界最高レベルのサポート

- より高い周囲温度に対応、Dell EMC Fresh Air冷却の範囲内にある構成数が増加

ダブル幅のGPUとFPGA

新しいドライブキャリア

新しいハイパフォーマンス

ファン

PowerEdge Memory

42

前世代機からのメモリの変更：第14世代PowerEdge

• Increased Bandwidth

- Moving from 4 channels to 6 channels

- Speed increase from 2400MT/s to 2667MT/s

- Voltage is stable at 1.2V per DIMM

• Memory slots

- R740/640/940 slots remain the same

- Some platforms will increase from 12 to 16 slots

- Still 6 DIMMs per CPU for performance configurations

43

14G Memory Channels / DIMMs per Channel

Sandy Bridge-EP

Skt-R

Romley-EP

CPU

14G

(Skylake)

CPU

6 Memory Channels x 2 Slots per Channel = 12 DIMMs per CPU4 Memory Channels x 3 Slots per Channel = 12 DIMMs per CPU

• PowerEdge R740/R740XD/R640 will have 24 total DIMMs (same as 13G)

• PowerEdge R940 will have 48 DIMMs (R930 96DIMMs,smaller than 13G due to CPU change)

13G

(Broadwell)

44

補足：メモリチャネルの利用と性能への影響について

Skylake CPUではメモリチャネルが6つ、各メモリチャネルには最大2枚のメモリ搭載が可能となっています※1CPU毎に最大24枚のメモリ搭載が可能です

45

補足：メモリチャネルの利用と性能への影響について

メモリの主な構成は上記3種類に分類されます

• Balanced ： 全てのメモリチャネルに同一容量、同一Typeのメモリを搭載した構成です。メモリチャネルのバランスが取れており、メモリBandwidthが最大化される構成の為最も性能が出る最適な構成です

• NearBlanced ： Blanced構成と同じくBandwidthが最大化されますが、異なるメモリ容量を搭載した構成と なります。Balanced構成と比較すると若干性能が低下する傾向となります

• Unbalanced ： 構成はサポートされておりますが、メモリチャネル毎に搭載されるメモリ容量に差がありますのでメモリBandwidthが最大化されていない構成となります。Skylake CPUではこの構成の場合にアクセスされるメモリによって性能が低下する場合が御座います(次頁にて後述)

46

補足：メモリチャネルの利用と性能への影響について

Skylake CPUではメモリ構成がUnbalanced構成である場合、左図の様にメモリアクセスをRegionという単位に分けてアクセスされる仕様となっています。

左図、下の構成では、メモリアクセスがRegion0にあった場合メモリBandwidthが最大化されることになるので最大性能でアクセスが可能ですが、Region1にメモリアクセスがあった場合にはBandwidthが2チャンネル分のみとなりますので性能が低下いたします。

今回14G Serverの標準構成ではメモリが16枚構成(1CPU毎に8枚構成)となっておりますので左図の様な構成となっております。

47

補足：メモリチャネルの利用と性能への影響について

1CPUに対するメモリ搭載枚数の違いでのベンチマークテスト結果となります。オレンジのグラフ部はメモリ性能が最大性能時の値になりますが青色のグラフ性能まで性能が下がる可能性がある事を示しています。※前ページの“Region1”にメモリアクセスがあった場合の性能とお考え下さい。

48

Memory Layout / Population RulesChannel Channel Channel Channel Channel Channel Channel Channel Channel Channel Channel Channel

2 1 0 3 4 5 2 1 0 3 4 5

A3 A9 A2 A8 A1 A7 CPU 1 A10 A4 A11 A5 A12 A6 B3 B9 B2 B8 B1 B7 CPU 2 B10 B4 B11 B5 B12 B6

Optimizer Mode Odd amount of DIMMs per CPU allowed.

Mirror Mode Supported with 6 or 12 DIMMs per CPU.

Single Rank Sparing Mode Requires 2 Ranks or more per channel. Odd amount of DIMMs per CPU allowed.

Multi Rank Sparing Mode Requires 3 Ranks or more per channel. Odd amount of DIMMs per CPU allowed.

NVDIMM Configs Populate RDIMMs in “white slots” and NVDIMMs in “black slots”, Limited configs.

Mixed Configs: Require largest capacity DIMM be placed first

Max of two DIMM part numbers allowed in system.

RDIMMs can be mixed with NVDIMMs, No other mixing of DIMM types supported.

49

Xeon CPU Modelとメモリ速度の対応

2667MT/秒 2400MT/秒 2133MT/秒

Platinum X X X

ゴールド X X X

Silver X X

Bronze X

• 14GServerでは2667MT/秒のDIMMのみが提供され、CPUのサポートレベルに基づいてメモリがクロックダウンされる

• CPUあたり最大1.5TB搭載をサポートする「M」シリーズを除き、すべてのCPUあたり768GB

容量搭載がサポートされる

50

NVDIMM-Nの概要

• NVDIMMは永続的メモリの一種• 「永続的メモリ」は電源遮断時やシステムのシャットダウン時にもデータを保持

• NVDIMMにはフラッシュデバイスとDRAMチップの両方が搭載されている

• 電源障害時にはすべてのデータがDRAMからフラッシュにコピーされる

• NVDIMMには別電源が必要：Dell EMCソリューションはバッテリ

NVDIMMにより、OSはメモリ速度で実行されているブロック ストレージを参照可能

51

使用モデルと注意事項

• DIMM x 12に限定• チャネルには最初にRDIMMをロードする必要がある• ブロック デバイスとして表示するにはOSドライバが必要

ポイント

• 電源バックアップの構成は不要• 兼用ではなく、プラットフォームごとに1台のバッテリ（NVDIMMと1対1）

• BBUは140秒で5.83Whrの仕様（兼用よりも高密度）• CPUに近いアップタイムと耐障害性を実現• iDRAC 9との統合• R640、R740、R740XD、R940でサポート

解決可能な問題と主要な価値

• ナノ秒単位のレイテンシとストレージサブシステムからの永続書き込みを必要とするワークロード

OS/システム管理のサポート

• OSでドライバのサポートが必要（ブロック向け）• 発売時はWindows

• VMware：CY18

• Linux：コミュニティ サポート（未定）

説明/機能

• アクセス方法：直接バイト アクセスまたはブロック アクセスに適応• 容量 : 16GB（発売時）• レーテンシー：DRAM（数十ナノ秒）• 同一システムでDDR4 DRAMと共存可能な設計

NVDIMMの実装

52

NVDIMM – N Overview

• 電源が落ちればメモリに保管された内容が失われるのは従来のコンピュータでは避けられませんでした。そのためメモリ上のデータをすべて永続的レイヤ(ストレージ)に保存する必要がありました。

• データベース処理を高速に行うためにデータをメモリに置くインメモリデータベースでも、万が一の時に備えてトランザクションの内容を失わないように、常ににログをストレージに保存し続ける必要がありますが、このストレージへの書き込みはメモリへの書き込みに比べて非常に遅く、処理時間にして数万倍から数百万倍もの時間差があるため、ストレージへの書き込み速度が全体の速度のボトルネックとなります。

• 電源が落ちてもメインメモリの内容が失われないことが保証出来れば、逐次ストレージへデータを書き込む必要がなくなり、ストレージへの保存処理が不要となる事で多くの処理が高速化されるとと同時に、データベースやアプリケーションの構造にも大きな変化が期待されます

• NVDIMM-N準拠のメモリモジュール搭載

• NVDIMM-Nでは、モジュールは同容量のDRAMとフラッシュメモリを備えています。通常動作時は普通のDRAM

モジュールとして振る舞い、電源が失われるとDRAMの内容をフラッシュメモリにデータを転送し、電源が復活するとフラッシュメモリの内容をDRAMに転送してから動作が開始されます。これによってNVDIMM-Nは、サーバーの電源が失われてもメインメモリの内容が保持されていたかのように稼働可能となります。s

53

14G DIMM Offering Details

CapacityDIMM

TypeDell P/N Config DRAM

Package

Type

DIMM

Max

Speed

Rated

VoltageComments

8GB RDIMM 1VRGY 1Rx8 8Gb SDP 2667MT/s 1.2V

16GB RDIMM VM51C 2Rx8 8Gb SDP 2667MT/s 1.2V

32GB RDIMM TN78Y 2RX4 8Gb SDP 2667MT/s 1.2V

64GB LRDIMM 4JMGM 4Rx4 8Gb DDP 2667MT/s 1.2V

128GB LRDIMM 917VK 8RX4 8Gb 4H-TSV 2667MT/s 1.2VR940 will offer at release but R740/R740XD/R640

will add in Q4

32GB LRDIMM 2WMMM 2RX4 8Gb SDP 2667MT/s 1.2V OEM/DSS offering only

16GB  NVDIMM HWF3V 1Rx4 8Gb  SDP  2667MT/s 1.2V

54

NVDIMM-N GuidanceNVDIMM Configs:

• Population order requires all RDIMMs be placed first.

• Minimum of 2 CPU sockets, 12 RDIMMs installed.

• RDIMMs must be either 16GB or 32GB

Supported NVDIMM configs:

• 1 NVDIMM, 12 RDIMMs (16GB or 32GB)

• 1 NVDIMM, 23 RDIMMs (32GB)

• 2 NVDIMMs, 12 RDIMMs (16GB or 32GB)

• 2 NVDIMM, 22 RDIMMs (32GB)

• 4 NVDIMM, 12 RDIMMs (16GB or 32GB)

• 4 NVDIMM, 20 RDIMMs (32GB)

• 6 NVDIMM, 12 RDIMMs (16GB or 32GB)

• 6 NVDIMM, 18 RDIMMs (32GB)

• 12 NVDIMMs, 12 RDIMMs (16GB or 32GB)

55

NVDIMM-N configuration overview

CPU2

iMC0iMC1

CH0

CH1

CH2

CH3

CH4

CH5

RDIMM NVDIMM

CPU1

iMC0iMC1

CH0

CH1

CH2

CH3

CH4

CH5

A1

A2

A3

A4

A5

A6

A7

A8

A9

A10

A11

A12

B1

B2

B3

B4

B5

B6

B7

B8

B9

B10

B11

B12

Up to 12 NVDIMM x 16GB or 192GB of persistent memory for 2S, 384GB for 4S

• “Buddy” System – First slot in the channel must be a RDIMM before an NVDIMM is loaded

• Fixed Configs – 1, 2, 4, or 6 NVDIMM per CPU

56

• 標準DDR4 RDIMMの隣にオプションのIntel 3D Xpoint （「クロス ポイント」）DIMM

（別名「Apache Pass」）

• Intel 3D XPointが2018年に提供開始と共にDell EMC PowerEdge第14世代で対応(予定)

• DDR4との電気的&物理的互換

• 最大4倍のシステム メモリ容量

PowerEdge第14世代のIntel 3D XPoint対応(予定)

14G PowerEdge Comms

58

Ethernet market trends

13G & 14G

14G発表後にリリース

13G & 14G

13G & 14G

13G & 14G

14G

14G発表後リリース

N/A

PCIe 25GbE

rNDC 25GbE

ネットワークのトレンド

• 25Gbのサーバー接続実績が急速に拡大中

• 25Gbは40Gbに比べて6倍速く普及

• デュアルポートの25Gbは4ポートの10Gbよりも低コスト

• 最安値のGb単価

• データセンターにおけるデータ急増がより高速なバンド幅を必要としている

• RDMAがサーバー間のデータ転送を効率化

59

25Gbでのサーバー接続

なぜいま 25GbEなのか？

• スイッチ間のインターコネクトが100GbEへの移行を加速している

• 25GbEはGbあたりのコストがもっとも低い

– 2.5倍の速度向上に対しプレミアムは30%

• 25GbE は10GbE SFP+に対する下位互換性を有する

• データセンターのデータ急増に対し、より太いパイプが求められている

• 10GbE x 2ポートではSDSにおいて不十分

– デュアルポートの25GbEは 4ポートの10GbEよりも低コスト

スイッチ間は100Gb

が主流に

25Gb

最新のネットワーク構成

100Gb

100Gbを4分割して取り出せる25Gbがサーバー接続の主流に

• 25GbE では SFP28 トランシーバが利用される

– SFP28 は10GE SFP+と下位互換性あり(物理サイズは同じ)

– ただし25GbEから10GbEへの接続は速度固定が必要

› 注意: 10GE SFP+ はオートネゴシエーションをサポートしていない

60

Ethernet RDMA

サーバー サーバーアプリケーション間のデータ転送

ネットワークスイッチ

イーサネット RDMA

• CPU負荷をかけずに他のサーバーのメモリへWriteを可能とする

お客様のメリット

• CPU使用率の低減

• データ転送を高速化

• 低レイテンシ (SDSにおいて重要) 14G

14G

N/AiWARP

RoCE 13G & 14G 14G

N/A

• RDMAを有効活用するためのOS・APLサポート等、エコシステムが成熟。

• 一般的なワークロードでもメリットを享受することが可能になってきた。

• CPU以上に、ネットワークとストレージ（Flash/NVMe）の速度が向上。

• Qlogicが提供するiWARPが14Gサーバーで新たに利用可能に。iWARPはQoSを必要としない。

なぜいまイーサネットRDMAが重要なのか？

61

iWARP と RoCE の違い

iWARP

RoCEを有効化したクラスタ

新たに14Gからサポート

13Gからサポート

iWARP（Internet Wide Area RDMA Protocol）

RoCE（RDMA over Converged Ethernet)

導入の容易さ〇

（特別なネットワーク構成は不要）

△（ネットワーク構成時に若干注意点あり）

QoS 不要 PAUSEフレーム or DCB が必要

プロトコル TCP/IP UDP

ルーティング可否 ○ ○（RoCE V2より）

レンテンシ○

（ただしHPCアプリケーション以外）○

スループット ○ ○

サポートベンダー QLogic (Cavium) Mellanox, QLogic, Broadcom

推奨する規模 データセンター or クラスタ クラスタ

ベンダー間の互換性

サポート外マルチベンダー接続をサポート

(ただし同一サーバー内で2つの異なるベンダーのRoCEを稼働させることは×）

62

RDMAベンチマーク結果

• iWARP : QLogic 25GbE on PowerEdge 14G

サーバー- ライブマイグレーション所要時間を58% 削減- CPU使用率を 75% 削減 (約14%のCPU 使用率が約 2% に低減)

• RoCE : QLogic on Windows 2016サーバー- ライブマイグレーションにかかる時間を43% 削減- CPU使用率が1/4に低減

• RoCE : Mellanox at Flash Memory Summit

2016- Ceph

- RoCEにより 30-40% の性能向上を実現

0

5

10

15

20

Th

roughput

(Gbps)

or

CP

U %

Live Migration over TCP/IP Throughput and CPU Utilization %

CPU (%)

0

5

10

15

20

25

30

Th

roughput

(Gbps)

or

CP

U %

Live Migration over SMBDirect (iWARP) Throughput and CPU Utilization % CPU (%)

%CPU Utilization no RDMA

%CPU Utilization with iWARP

Throughput (Gbps)

Throughput (Gbps)

63

RDMAが有効なケース

クラウド

今後Big Dataなどの検証結果が新たに出てくる予定

Software Defined Storage

ライブマイグレーション イーサネットHPC

ファイルサーバーSQL データベースクラスタ

Multi-Vector Cooling

65

PowerEdge 14G

Multi Vector CoolingPowerEdge 14G

Multi Vector Cooling

66

Inventory

Settings

Power

Temp

Multi-Vector

Cooling

Fan Speed Control

Power Capping

Health Status

Chassis Airflow

Temp History

PCIe Slot Airflow

67

Adaptive Temperature ControlIndustry

Standard PID

Adaptive

Controller

Modern Controls

Robust: Hardware-in-the-Loop

Scalability

68

Multi-Vector Slot Cooling

69

Multi-Vector Slot Cooling

Enables Accelerators!

70

C6420では水冷モデルも展開

より高いパフォーマンスとスループット

最高出力（周波数および電圧）CPUをサポートし

パフォーマンス密度（FLOPS/SqFt）を向上

エネルギー効率の向上：運用コストとTCOの削減

DCの電源および冷却容量をアップグレードをせず

データセンターへの大規模システム導入に効果的