【HinemosWorld2014】B2-2_ビジネス競争力に勝てるネットワーク基盤構築～Hinemos仮想ネットワーク管理オプション～ONIE・ZTP・Chef...

NCL Communications

ビジネス競争力に勝てるネットワーク基盤構築～Hinemos仮想ネットワーク管理オプション～～ONIE/ZTP/Chef with Pica8～

エヌ・シー・エル・コミュニケーション株式会社

基盤ソリューション事業部佐藤浩

Copyright© 2014 NCL Communications

会社紹介NCL Communications

NCL Communications

2014/12/16 3Copyright© 2014 NCL Communications

NCLコミュニケーション会社案内

社名：エヌ・シー・エル・コミュニケーション株式会社(英文名) NCL Communications

設立：１９８６年３月１３日 (昭和６１年)

資本金：１億１,６２０万円

役員：代表取締役関根尚取締役長正三取締役千代毅

従業員数：２７名 (平成２６年５月現在)

所在地：〒１５０－６０２７東京都渋谷区恵比寿４-２０-３恵比寿ガーデンプレイスタワー２７Ｆ０３-５４４７-８５１１ (代表)

主要事業内容： IT製品の輸入・販売・保守・プロダクトインテグレーションならびにシステムインテグレーション

主要取引先： (順不同、敬称略)(株)インターネットイニシアティブ, (株)アクシオ, (株)NTT データ,伊藤忠テクノソリューションズ(株),ウチダエスコ(株),NECフィールディング(株), NTT コミュニケーションズ(株),(株)NTT データシステムズ,東日本電信電話(株), (株)大塚商会,(株)沖電気カスタマアドテック,沖電気工業(株),(株)JALインフォテック, SCSK(株), セコムトラストシステムズ(株),ソニーマーケティング(株), ソフトバンクBB(株), ダイワボウ情報システム(株),ディーアイエスソリューション(株), 東京大学,東芝情報機器(株), 日商エレクトロニクス(株), 日本IBM(株), ネットワンシステムズ(株), パナソニック(株), (株)日立国際電気,富士ソフトサービスビューロ(株), 富士通(株), 三井情報(株), 三菱電機(株), 三菱電機インフォメーションシステムズ(株),ユニファイドコミュニケーションズ(株), テクマトリックス(株), クロス・ヘッド(株), 他

テクマトリックス株式会社 (TechMatrix Corporation)東証1部上場

クロス・ヘッド株式会社沖縄クロス・ヘッド株式会社 (Okinawa CROSS HEAD Co.Ltd)GIX沖縄株式会社

グループ会社一覧

NCL Communications


アジェンダ

ネットワークの構築・運用から見える課題Hinemos仮想ネットワーク管理オプションによる解決ONIE/ZTP/Chef with Pica8による解決SDNのロードマップ


ネットワーク構築・運用から見える課題NCL Communications

NCL Communications


ネットワーク構築から見える主な課題

設計

構築

テスト

導入

Spine #3Spine #1 Spine #2

Leaf #5(ACT) Leaf #5(SBY) Leaf #6(ACT) Leaf #6(SBY)

サーバ #1 サーバ #2

Leaf #4(ACT) Leaf #4(SBY)

ルータ #1 ルータ #2 L2SW

作業PC

1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6

1 2 3

47

10

47

10

1 2 3 1 2 3 1 2 3

47 47

40 30 40 30

1 2 3 1 2 3

30 30

47 47

1G UTP

100M UTP

48 48 48 48 48 48

LAG

スイッチ毎の仕様・性能を考慮し慎重に検討する必要がある導入機器が多くなればその分、構築に時間が掛かる機器の調達コストが掛かる

NCL Communications


ネットワーク運用から見える主な課題

管理の側面

ネットワークの適化

セキュリティ

構成変更

各スイッチのパスワード変更 SNMP、NTP、Syslog等のサーバ変更定期監視

OSPF,BGP等のタイマー系変更 QoS、帯域制御の変更

アクセスコントロールリストの変更ポートセキュリティの変更

セグメント追加・変更・削除ルーティング追加・変更・削除

基本的には各機器にログインして個別に設定する必要があるネットワーク構成の最新状態を把握していなければならない作業の為に工数が掛かる（コストが掛かる）

NCL Communications


課題と現状

ネットワーク機器への依存

マニュアル操作マニュアル管理

初期コスト増大運用コスト増大リリース遅延

機器毎に仕様（設定方法）が異なる

機器毎に手動で設定するシステム全体で一貫性を保つ必要がある

早くサービスインを行いたいが、ネットワークが足枷となってしまっている。。

NCL Communications


あるべき姿

初期コスト削減運用コスト削減即時・拡張性

ビジネスの競争力に勝つ必要がある

ネットワークに対する迅速性・自動化・効率化が必要

CAPEX OPEX AGILITY


仮想ネットワーク管理オプションによる解決NCL Communications

NCL Communications


仮想ネットワーク管理オプションとは

仮想ネットワーク管理オプション

仮想ネットワーク、仮想マシンを自動的に作成することが可能です。仮想化環境を共通的なハードウェア構成上に構成することが可能です。仮想面・物理面を統合管理運用することが可能です。

仮想ネットワーク管理オプション

SDNコントローラ

OpenFlowスイッチ

Open vSwitch

仮想ネットワークを実現する手段として、OpenFlow※を活用しています。

※OpenFlowはネットワーク機能をソフトウェアで集中管理する事が出来る技術。業界団体のOpen Networking Foundationによって標準仕様の策定が行われている。

NCL Communications


自由度の高いネットワーク環境を提供できます

Open vSwitch

Open vSwitch

OpenFlowスイッチリソースの共有

ネットワーク、ストレージ、サーバリソースをマルチテナントで共有！

迅速なネットワーク提供

必要な時に必要なリソース、ネットワークを迅速に提供！

テナント定義

仮想化環境の一元管理

物理・論理の両面を管理でき、思い通りのネットワーク、通信制御が可能！

NCL Communications


サーバ仮想化技術・ネットワーク仮想化技術の制御

Open vSwitch

Hinemosマネージャ



既存のネットワーク網

Hinemosクライアント

（管理コンソール）

Open vSwitch

テナント定義などの登録論理ネットワークの制御

OpenFlowによるトラフィック経路制御

仮想マシンの制御

サーバ仮想化技術ネットワーク仮想化技術

NCL Communications


仮想ネットワーク管理オプションのコンポーネント


ハイパーバイザ

VM

VM OpenFlowスイッチVM

OF NW

M-Plane

D-Plane


Hinemosエージェント

Hinemos仮想ネットワーク管理オプション

Hinemosマネージャサーバ

M-PlaneOpenFlowプロトコルよって各スイッチを制御するネットワーク

D-Plane実際のデータが流れるネットワーク

操作PC

OpenFlowコントローラサーバ

NCL Communications


仮想ネットワーク管理オプションの主な機能

コントローラサーバのHA構成のサポート

Hop-by-hop方式、Overlay方式混在環境に対応した経路制御

North Bound API・ユーザ拡張プラグイン開発APIの提供

OpenFlowによるファイアウォール、ロードバランサのエミュレーション

経路コストによるFlow単位での転送経路のカスタマイズ

等コストパスにおける通信のバランシング

仮想ネットワーク管理オプションの主な機能

ハイパーバイザ Vmware vSpher5.5 及び Kernel-based virtual Machine(KVM)のサポート

NCL Communications


ネットワークの可視化（物理トポロジ）

物理スイッチ（OFS)のトポロジ情報を自動表示

経路表示を視覚的に表示

NCL Communications


ネットワークの可視化（論理トポロジ）

アイコンを配置し、ネットワークを容易に作成

複数の異なるネットワークを管理する事が可能

NCL Communications


監視・管理（監視イメージ）

Hinemos基本機能と連動し、OFSの状態を監視させる事が可能

NCL Communications


監視・管理（性能イメージ）

SNMP等を利用し、OpenFlowネットワークのトラフィック情報をモニタリング可能

コントローラの性能情報やネットワーク情報を細やかに収集可能

NCL Communications


例えば、機器交換も容易です




OF NW

M-Plane

D-Plane


②障害を検出

①機器障害

③代替機を結線するだけで復旧

詳細な設定は不要

NCL Communications


例えば、帯域の増設も容易です




OF NW

M-Plane

D-Plane


②帯域不足を検出

③LANケーブルを結線のみ

①帯域が圧迫

LAG等の設定は不要

sFlowやHinemosマネージャ

NCL Communications


例えば、ネットワークの変更も容易です

OF NW

システムC

システムBシステムA 仮想ネットワーク

物理ネットワーク

専用GUIからの操作

物理面の状態や他システムの状態を考

慮せず変更可能アプライアンスサーバなど接続する場合、物理的制約を考慮せず

接続可能


ONIE/ZTP/Chef with Pica8による解決NCL Communications

NCL Communications


３つのキーワードで課題解決と効率化を図る

ChefZTPONIE

既存技術を生かしつつ、容易にSDNの要素を取り入れる






作業PC

1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6

1 2 3

47

10

47

10

1 2 3 1 2 3 1 2 3

47 47

40 30 40 30

1 2 3 1 2 3

30 30

47 47

1G UTP

100M UTP

48 48 48 48 48 48

LAG

Pica8Pica8

NCL Communications


ONIEとは

Created by Cumulus Networks, Inc. in 2012, the Open Network Install Environment (ONIE) Project is a small operating system, pre-installed as firmware on bare metal network switches, that provides an environment for automated operating system provisioning. Incubated and adopted by the Open Compute Project in 2013, the ONIE project enables a bare metal network switch ecosystem where end users can choose among different network operating systems. ONIE enables switch hardware suppliers to manage their operations based on a small number of hardware SKUs. This in turn creates economies of scale in manufacturing and distribution enabling a thriving ecosystem of both network hardware and operating system alternatives.

引用 http://www.opencompute.org/wiki/Networking/ONIE

Open Network Install Environment

安いハードウェアを調達し、ネットワークOSを利用者が選択する事で、エコシステムの構築を加速する大きな役割を果たす機能

2012年Cumulus Networksによって作成されたONIEはベアメタルスイッチ上にプリインストールしており、ネットワークOSを自動的にインストールする事を可能とします。2013年OCPプロジェクトに採択され、ユーザは異なるベンダーのベアメタルスイッチ・ネットワークOSを選択し、エコシステムの構築を可能とする。ONIEはわずかなハードウェア単位で供給する事ができる。

NCL Communications


ONIEの概要

Bare metal switch with ONIE

CelesticaDeltaAlpha

Network H/W

Bootloader

ONIE OSCumulus

LinuxSwitchLight

OSNetwork OS

ONIE対応ネットワークOSONIEに対応したベアメタルスイッチとNetworkOS(スイッチ用OS)により、エンドユーザでも簡単にインストールができる環境を提供します。

NCL Communications


ONIEによるPicOSインストールの流れ

Bootloader（H/W内臓）

ONIE OS（H/W内臓）

OSインストーラー（OSベンダーより提供）

OS起動

1. ONIE対応ベアメタルスイッチは、Boot loaderによりONIEへブートします。

2. ONIEはNetworkOSのイメージファイルを探します。（DHCP, DNS service discovery, Multicast, IPv6 neighbor discovery)

3. 見つけたURLを経由し、NetworkOSをダウンロードします。

4. NetoworkOSの整合性を検証し、インストールを行います。（インストール完了後、OSに対応した環境変数がBoot loaderに

書き込まれます）

5. インストールされたOSを起動します。

NCL Communications



ChefZTPONIE







作業PC

1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6

1 2 3

47

10

47

10

1 2 3 1 2 3 1 2 3

47 47

40 30 40 30

1 2 3 1 2 3

30 30

47 47

1G UTP

100M UTP

48 48 48 48 48 48

LAG

Pica8Pica8

NCL Communications


Pica8 ZTP※の概要 ※Zero Touch Provisioning

DHCP/TFTPサーバを利用する事で、スイッチのアップデートやスイッチのコンフィグレーション、アプリケーションのインストールが自動的に行えます。

スイッチのマネージメントインターフェースとDHCP/TFTPサーバを接続させ、電源を起動するのみ。

後述するPica8 ZTP のAPIを利用してプロビジョニングスクリプトをカスタマイズする事で柔軟な制御が可能となります。

NCL Communications


ZTPの活用例

TFTP/DHCPサーバ

ラック1 ラック2 ラック3新設ラック

・管理セグメントへケーブル接続、スイッチ電源起動・アップデート、設定含めて自動的に利用可能状態へ

1 DHCP Discover

DHCP Offer

2 DHCP request

DHCP Ack with Option 66,67,7

3 Get shell script

Shell script

4 Execute shell script

5 Download PicOS image

PicOS image

6 Update configuration

7 Download packages/launch applications

■アップデートシーケンス

NCL Communications


【参考】 Pica8 ZTP API

1) ztp_disablemeaning: disable ZTP auto-run when switch boot upparameter: Noreturn value: 0 when succeed, 1 when failed2) ztp_enablemeaning: enable ZTP auto-run when switch boot upparameter: Noreturn value: 0 when succeed, 1 when failed3) add_remote_syslog_server <ip-address>meaning: add remote syslog serverparameter : the IP address of remote syslog serverreturn value: 0 when succeed, 1 when failed4) remove_remote_syslog_servermeaning: remove remote syslog serverparameter : Noreturn value: 0 when succeed, 1 when failed5) picos_config <Number> <ip-address> <gateway-ip>meaning: set the configuration for PicOS serviceparameter 1: the server selected, 1 for PicOS L2/L3, 2 for OVS, 3 for none serviceparameter 2: a static IP and netmask for the switch (e.g. 128.0.0.10/24) when parameter 1 is set to 2parameter 3: the gateway IP (e.g. 172.168.1.2) when parameter 1 is set to 2return value: 0 when succeed, 1 when failed6) picos_start_stop <action>meaning: the action of PicOS serviceparameter 1: start: start the PicOS servicestop: stop the PicOS servicerestart: restart the PicOS servicestatus: get the status of PicOS servicereturn value: 0 when succeed, 1 when failed7) picos_l2l3_startmeaning: start PicOS L2/L3parameter: Noreturn value: 0 when succeed, 1 when failed8) picos_l2l3_restartmeaning: restart PicOS L2/L3parameter: Noreturn value: 0 when succeed, 1 when failed

9) picos_l2l3_stopmeaning: stop PicOS L2/L3parameter: Noreturn value: 0 when succeed, 1 when failed10) picos_ovs_start <ip‐address> <gateway‐ip>meaning: start PicOS OVS, parameters are needed if PicOS is not set in OVS mode.parameter 1: eth0 ip address and netmask, 192.168.0.2/24parameter 2:gataway ipreturn value: 0 when succeed, 1 when failed11) picos_ovs_restart <ip‐address> <gateway‐ip>meaning: restart PicOS OVS, parameters are needed if PicOS is not set in OVS mode.parameter 1: eth0 ip address and netmask, 192.168.0.2/24parameter 2:gataway ipreturn value: 0 when succeed, 1 when failed12) picos_ovs_stopmeaning: stop PicOS L2/L3parameter:Noreturn value: 0 when succeed, 1 when failed13) tftp_get_file <file‐name> <file‐name> <ip‐address>meaning: get file from TFTP serverparameter 1: file name in TFTP serverparameter 2: file name with path in local;parameter 3: TFTP server IP addressreturn value: 0 when succeed, 1 when failed14) tftp_get_l2l3_config_file <file‐name> <ip‐address>meaning: get PicOS L2/L3 configuration from TFTP serverparameter 1: configuration file name with path on TFTP severparameter 2: sever ip address, if this is not set, it will use the TFTP server IP address got from DHCPserver by DHCP clientreturn value: 0 when succeed, 1 when failed15) tftp_get_ovs_config_file <file‐name> <ip‐address>meaning: get PicOS OVS configuration fileparameter 1: configuration file name with path on TFTP severparameter 2: sever ip address, if this is not set, it will use the TFTP server IP address got from DHCPserver by DHCP clientreturn value: 0 when succeed, 1 when failed16) tftp_get_picos_config_file <file‐name> <ip‐address>meaning: get PicOS configuration file from TFTP serverparameter 1: configuration file name with path on TFTP severparameter 2: sever ip address, if this is not set, it will use the TFTP server IP address got from DHCPserver by DHCP clientreturn value: 0 when succeed, 1 when failed

NCL Communications


【参考】 Pica8 ZTP API

17) tftp_get_picos_image <file‐name> <ip‐address>meaning: get PicOS image from TFTP serverparameter 1: image file name with path on TFTP severparameter 2: sever ip address, if this is not set, it will use the TFTP server IP address got from DHCPserver by DHCP clientreturn value: 0 when succeed, 1 when failed18) tftp_get_pica_image <file‐name> <ip‐address>meaning: get Pica Image from TFTP serverparameter 1: image file name with path on TFTP severparameter 2: sever ip address, if this is not set, it will use the TFTP server IP address got from DHCPserver by DHCP clientreturn value: 0 when succeed, 1 when failed19) l2l3_cmd_shell <commands>meaning: run an CLI command of PicOS L2/L3parameter 1: the commandreturn value: 0 when succeed, 1 when failed20) l2l3_load_config <file‐name> <ip‐address>meaning: get a file with PicOS L2/L3 CLI commands list, and execute these commands.parameter 1: command file name with path on TFTP severparameter 2: sever ip address, if this is not set, it will use the TFTP server IP address got from DHCPserver by DHCP clientreturn value: 0 when succeed, 1 when failed21) ovs_cmd_shell <commands>meaning: run an OVS commandparameter 1: the commandreturn value: 0 when succeed, 1 when failed22) ovs_load_config <ip‐address> <gateway‐ip> <file‐name> <ip‐address>meaning: get a file with PicOS OVS commands list , and execute these commands.parameter 1: if PicOS is not set to OVS, then it should be eth0 ip address and netmask, 192.168.0.2/24,otherwise “ ”parameter 2: if PicOS is not set to OVS, then gateway IP, otherwise “ ”parameter 3: file name with path on TFTP serverparameter 4: sever ip address, if this is not set, it will use the TFTP server IP address got from DHCPserver by DHCP client

NCL Communications



ChefZTPONIE







作業PC

1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6

1 2 3

47

10

47

10

1 2 3 1 2 3 1 2 3

47 47

40 30 40 30

1 2 3 1 2 3

30 30

47 47

1G UTP

100M UTP

48 48 48 48 48 48

LAG

Pica8Pica8

NCL Communications


Chefとは

米Opscode社が提供するサーバ設定を自動化することに特化した、オープンソースのシステム統合フレームワーク

構築しようとしているシステムのサーバ台数に関わらず、Chefを利用することで必要なサーバやアプリケーションを自動的に構築および調整できる

インフラの構成管理をコード(Ruby)によって行える

Chef Server：インフラ構成情報を保存(Cookbook,Recipe,etc)

Chef Node：Chefの管理下におかれるサーバ群

Chef Workstation：Knifeプラグインがインストールされている端末

NCL Communications


ChefとPica8

Chefはサーバ設定ツールであり複数のOS(WindowsやLinux、Mac OS X)に対応 DebianベースのOSを持つ「Pica8スイッチ」もChefの管理下における Rubyの内部DSLを利用できる

Pica8スイッチも１つのサーバとして扱える

Chef Client Chef Client Chef Client


NCL Communications


ChefからPica8の制御は容易です

例えばPica8の1番ポートにVLAN 10を設定します。

Chef Client

1. CookBook作成2. レシピ作成3. レシピをサーバへアップロード4. レシピとノードを紐付ける

require 'pty'require 'expect'require 'fileutils'PTY.spawn("/pica/bin/pica_sh") do |i, o|o.sync = truebegin

i.expect(/> /, 10) docmd = "configure"o.puts cmdi.getsend

i.expect(/# /, 10) docmd = "set interface gigabit-ethernet ge-1/1/1 family ethernet-switching

native-vlan-id 10"o.puts cmdi.gets

end

レシピの抜粋

レシピを読込VLAN設定が行われる

NCL Communications


ネットワーク構築の自動化

ホワイトボックス

ベアメタルスイッチ


Chef client


Chef clientスイッチ設定

ONIE

ZTP

Chef

OSインストール、アプリインストール、設定投入がすべて自動化

ハードウェアのみの製品

OSが異なっていたとしても設定を抽象化出来るので問題なし

NCL Communications


ネットワーク構築の自動化

ネットワークの設計をコード化

Spine Spine Spine

Leaf Leaf Leaf Leaf Leaf

L3 L3

ToR ToR

中～大規模ネットワーク小規模ネットワーク

インプットしたパラメータを基に、ネットワークの規模に依らず、

自動的にネットワークの構築が可能

NCL Communications


ネットワーク運用の自動化

Chefサーバから構成情報をアウトプット（設計書・設定書）

Spine Spine Spine

Leaf Leaf Leaf Leaf Leaf

L3 L3

ToR ToR

中～大規模ネットワーク小規模ネットワーク

【管理】パスワードの変更Syslogサーバの変更コンフィグのバックアップ etc

【カスタマイズ】BGP/OSPF TimerQoS etc

【セキュリティ】ACL

【構成変更】セグメント追加ルーティング追加 etc

各機器の構成管理を一元化し、Chefサーバから集中制御

NCL Communications


WEB アプリとの連携

WEBサーバ


イメージ

構成情報の管理トポロジ情報の出力画面上からの設定変更バックアップ etc..


今後の展開NCL Communications

NCL Communications


サーバ仮想化とネットワーク仮想化の今後

時間軸

現在

現状 Phase 1 Phase 2-a Phase 2-b Phase 3Ethernet SwitchH/W

Vendor独自、シャーシー

1U Ethernet Switch または、 1U Bare Metal Switch & Switch OS

Switch OS 独自・一体型標準Linux Base、マルチプロセス、API、L2/L3、OpenFlow

トラフィック南北東西（データセンター内）

NWトポロジサイロ型 IPファブリック（Clos Network) メッシュ型

NWプロトコル

L2 L3（OSPF/BGP, ECMP）OpenFlow

仮想化 L2 VLAN L2 VXLAN over L3

L2セグメント数

4,000 16,000,000制限なし

Vmotion 同一VLAN内同一VXLAN内

Control

マニュアル

Chef, Puppet, Ansible,Hinemos

OpenStackOpenStack &

Openflow アプリNeutron(ML2) Overlay

Controller

NCL Communications


Hinemosによる管理

仮想マシンＡ

仮想マシンＢ

仮想アプライアンス

仮想アプライアンス

仮想マシンＡ

仮想マシンＢ


VM管理オプション（運用管理）

物理

仮想 VMの接続

論理ネットワークのトラフィック制御


仮想ネットワーク管理オプション（構築・構成変更）

NCL Communications


Chef/Puppet/Ansibleによる管理

ネットワーク

サーバ

DevOpsツールを利用してサーバサイド、ネットワークサイドの両面を管理

NCL Communications


Neutron(ML2プラグイン)による管理

Nova Cinder Glance Neutron

OpenStackコンポーネント

ML2プラグイン API拡張

VXLAN,GRE,VLAN Pica8,etc

ML2プラグイン（Pica8プラグイン）とPica8スイッチを接続

Neutron経由にてPica8スイッチを制御しオーバーレイを構成

NCL Communications


オーバーレイコントローラによる管理

Nova Cinder Glance Neutron

OpenStackコンポーネント

NSXコントローラ

OVSDB

NSX プラグイン

オーバーレイコントローラ(NSX)を想定 NSX専用プラグインとNSXコントローラ

を接続 NSXコントローラとNSX vSwitch、及び

Pica8は、OVSDBで接続

NCL Communications


さらなる先には

SDN技術(OpenFlow)を利用した、超スケールアウト可能なファブリックネットワーク Fabric内は仮想MACによる転送とロケーション管理 OpenStack/OpenFlowコントローラと連携し真のSDN化


NCL Communications

エヌ・シー・エル・コミュニケーション株式会社

〒１５０－６０２７東京都渋谷区恵比寿４丁目２０番３号恵比寿ガーデンプレイスタワー２７階

基盤ソリューション事業部TEL： 03-5447-8513、 eMail： [email protected]

【HinemosWorld2014】B2-2_ビジネス競争力に勝てるネットワーク基盤構築～Hinemos仮想ネットワーク管理オプション～ONIE・ZTP・Chef...

Technology

Transcript of 【HinemosWorld2014】B2-2_ビジネス競争力に勝てるネットワーク基盤構築～Hinemos仮想ネットワーク管理オプション～ONIE・ZTP・Chef...