MEC (Mobile Edge Computing)+ GPUコンピューティング

について

日本仮想化技術株式会社

VitrualTech.jp

2017/11/29

1

MECについての理解

2

MEC を取り巻く状況

外的要因

• 5G ネットワークの立ち上がり

• Edge Throughput が 100Mbps

• Latency が 1ms

• Peak Data Rate が 20Gbps

• Connected Carやスマートスピーカーなどの新領域のアプリケーションの登場

内的要因

• 運用コスト削減への圧力

• Software Defined Infrastructure の本格検討

• NFVやSD-WANを商用インフラで検討

• 機械学習や深層学習の業務への活用検討

MECを理解する①MEC のユースケースによって必要な要素（テクノロジー、品質、ビジネス要件）が異なる

MBB: Mobile BroadbandmMTC: massive Machine

Type CommunicationsDense Inf SocietyConnected vehiclesVR office/factory/tactileThroughput

Latency

Reliability

Availability

EnergyEfficiency

User/Devicedensity

Implications of 5G RAN and IoT on OpenStack based edge computing. より引用 [ OpenStack Summit にて AT&T, Ericsson 発表 ]https://www.openstack.org/videos/sydney-2017/implications-of-5g-ran-and-iot-on-openstack-based-edge-computing

Disaggregated CoreDisaggregated RAN

MECを理解する②AT&T の MEC Architecture

5G ApplicationEcosystem

IoT

Connected Car

MBB

RU DU UPF UPF

Macro Radio& Small cellAntennas

5GBase

StationsEdgeCloud

CentralizedCloud

CCF

Internet

CU-CP

CU-UP

NFV MANO (Management & Orchestration)

CU: Centralized Unit CP: Control PlaneUP: User Plane

UPF: User Plane FunctionCCF: Core Control Function

RU: Radio UnitDU: Digital Unit

Implications of 5G RAN and IoT on OpenStack based edge computing. より引用

MECを理解する③

• Docker / Kubernetes でコントローラを構成する

• ゼロタッチ・プロビジョニングが鍵

• 数千ロケーションに展開することを想定

• エッジノードにて新しい技術を即座にサポート（GPU, SmartNIC, FPGA, など）

• NFVやSDNなど他のプロジェクトとの連携を想定

AT&TのMECプロジェクトを推進する上での気づき

MEC＋GPUコンピューティング

7

MEC+GPUコンピューティング

• Docker / Kubernetes を使用したMEC環境の構築

• ゼロタッチ・プロビジョニングを見越した、MEC環境の構築・構成変更• サーバOSのインストールからコンテナアプリの設定まで

• 仮想ネットワークと仮想ストレージも視野に

• エッジノードでGPUの活用

POC(Proof of Concept)で実証したいこと

Container nodes

MEC+GPUアーキテクチャNFV MANO

Edge Controllers

Physical Provisioning

Application Provisioning

SDN / SDSMonitoring /

AlertingOrchestrator

GPUHi speed

networkingGeneralpurpose

Lowenergy

Hi speedstorage

GPU Server

GPU Server

Storage Server

StorageServer

ObjectStorage

Serversw/t SmartNIC Servers

Edge Cloud のスコープ

ServerServer Server

Edge Computing で必要な構成要素

前ページのMEC+GPUアーキテクチャの図示した構成要素以外で必須・任意の構成要素を列記

必須要素

• Edge Cloud のオーケストレータ• Kubernetes を想定

• Edge Cloud 内のリソースを操作するための End Point• Kubernetes API を想定

任意要素

• Edge Cloud 内の構成情報・資産情報の管理10

Container nodes

POC#1のスコープ想定NFV MANO

Edge Controllers

Physical Provisioning

Application Provisioning

SDN / SDSMonitoring /

AlertingOrchestrator

GPUHi speed

networkingGeneralpurpose

Lowenergy

Hi speedstorage

GPU Server

GPU Server

Storage Server

StorageServer

ObjectStorage

Serversw/t SmartNIC Servers

Edge Cloud のスコープ

ServerServer Server

コンテナ/ハイパーバイザーについての整理

12

GPUノードにおける整理

Hypervisor/Container でGPUを動かすために

• HypervisorではPCI パススルー で、Containerでは nvidiadocker で利用可能

• PCI パススルーはOpenStackコンピュートノードに設定が必要

• KVM ベースの GPU インスタンスに GPU を割り当てる

• nvidia dockerは特別なハードウェア設定なしに使用できる

• OpenStackから Kubernetes や Docker コンテナを操作するための仕組みを導入する必要がある

13

GPUノードにおける整理

どちらを選択するのがよいのか？

PCI パススルー nvidia docker

強み多目的（VDI/HPC/DL）

で利用可能環境構築が簡単

弱み 特別な環境設定が必要• HPCやDLの用途に限定• リソース競合の懸念

• OpenStackとの連携に課題

14

用途に合わせて選択するのがよいと考えます。OpenStack + nvidia docker については NTT コミュニケーションズ様が調査を行い発表しているので参考するとよいです。https://www.slideshare.net/VirtualTech-JP/gpu-container-as-a-serviceoss-openstack-20177

General purposeノードにおける整理

コンテナ技術が注目される理由

トレンドについての説明

• アプリケーション開発者の熱狂的な支持• 「作って、壊せる」環境の手軽さ

• クラウド・ネイティブ・アプリケーションの増加• DevOps や Immutable Infrastructure の推進

• 通信事業者でのコンテナ技術の採用の流れ• NFV領域やサービスプラットフォームなどでの適用検討

現時点においてHypervisorとContainerのどちらを選択してもよいが、今後Containerを採用するユースケースが増加すると想定

Hypervisor上にContainerを乗せることはできるが、ベアメタルサーバ上にContainerを乗せる方式が一般的になると予想 15

参考情報）OpenStack Summit Boston 2017 での発表

AT&T’s Container Strategy and OpenStack‘s Role in it

16

Today:• OpenStack on コンテナ

（OpenStackのコントローラノードをコンテナ上で稼働）

2018-19:• コンテナアプリケーションの増加と

ハイパーバイザー型アプリケーションの減少

• NFVでのVNFアプリケーションのコンテナ化（POCレベル）

2019+:• VNFアプリケーションのコンテナ化が

一般的に

コンテナ/ハイパーバイザーについての整理

• GPUノードにおける整理• 用途に合わせて選択する

• HypervisorでGPUを使用するために特別なH/W設定が必要なので、1台のGPUサーバでHypervisor/Containerを混在することはできない

• General purposeノードにおける整理• 現時点においてHypervisorとContainerのどちらを選択してもよいが、今後Containerを採用するユースケースが増加すると想定

• Hypervisor上にContainerを乗せることはできるが、ベアメタルサーバ上にContainerを乗せる方式が一般的になると予想

17

構成案

18

Container nodes

POC#1の構成案（ハードウェア）

Edge Controllers

• Physical Provisioning• Monitoring /Alerting

• Application Provisioning• Orchestrator

• SDN

POC#1のControllersの多重化は行わない想定

• GPU• General

purpose

Container nodes

POC#1の構成案（ソフトウェア）

Edge Controllers

• Physical Provisioning• Monitoring /Alerting

• Application Provisioning• Orchestrator

• SDN

POC#1のControllersの多重化は行わない想定

• GPU• General

purpose

MAAS/JujuPrometheus/ Grafana

Kubernetes vMX

nvidiadocker

docker

Contrail

ContrailvRouter

Appendix

21

NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

サイバートラスト(株) 会社概要

商号サイバートラスト株式会社Cybertrust Japan Co., Ltd.

設立 2000年6月1日

代表者 代表取締役社長 阿多 親市

資本金 400百万円

主要株主

株式会社エヌ・ティ・ティ・データ株式会社大塚商会株式会社オービックビジネスコンサルタント株式会社サンブリッジソフトバンク・テクノロジー株式会社日本電気株式会社株式会社日立製作所

事業所 新宿オフィス（本社）、赤坂オフィス、松江ラボ、旭川サテライトオフィス

事業内容•IoT関連事業•認証サービス事業、セキュリティソリューション事業•Linux OS開発、OSSを活用したエンタープライズ向けソフトウェア開発、組込みLinux関連事業、サポートおよびコンサルティング事業

2017年10月 ミラクル・リナックス(株), サイバートラスト(株) 合併により、

大きく変動

NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

サイバートラスト(株) 事業領域サイバートラストの認証事業とミラクル・リナックスの組込みLinux事業の組み合わせで、

IoT 時代のデファクトスタンダードへ

国内電子認証局の運用

Linux/OSS の専門性電子認証の専門性

専用機器・組込み開発

ITインフラを支えるLinux提供

グローバル標準

組込みLinux

IoT 電子認証

IoT 事業開発・グローバル協業

認証・セキュリティ事業 IoT事業 Linux/OSS事業

日本仮想化技術(株) 概要

英語名：VirtualTech Japan Inc.

設立：2006年12月

資本金：3,000万円

本社：東京都渋谷区渋谷1-8-1

取締役：宮原 徹（代表取締役社長兼CEO）

伊藤 宏通（取締役CTO）

スタッフ：9名（うち、8名が仮想化技術専門エンジニアです）

URL：http://VirtualTech.jp/

仮想化技術に関する研究および開発

• 仮想化技術に関する各種調査

• 仮想化技術に関連したソフトウェアの開発

• 仮想化技術を導入したシステムの構築

• OpenStackの導入支援・新規機能開発

ベンダーニュートラルな独立系の仮想化技術のエキスパート集団

25