Neutron OVSvApp -OpenStackでもESXiを使いたい方へ- (2015/10/25/ OSC Tokyo/Fall)

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Neutron OVSvApp- OpenStackでもESXiを使いたい方へ -

2015年10月24日

日本ヒューレット・パッカード株式会社

テクノロジーコンサルティング事業統括

サービス統括本部オープンソース部

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2

Introduction

略歴

- 楽天株式会社

国際ECインフラ設計・運用

プライベートクラウド設計

- 日本ヒューレット・パッカード株式会社

金融系ソリューションデリバリー

オープンソース系ソリューションデリバリー

専門分野

- オープンソースプロダクト

私のこだわりユーザー企業もベンダー企業も経験しているからこそ、利用者と同じ立場で課題に向き合えるような、”Market-In”を大切にしていきたい。

北山晋吾 - Shingo.Kitayama -

テクノロジーコンサルティング事業統括

サービス統括本部オープンソース部


Agenda

1. HPEのOpen Sourceクラウド戦略2. OpenStack + ESXiの連携

OpenStack + VMware ESXiの現状と課題

3. OVSvAppの概要OVSvAppとは

4. OVSvAppのアーキテクチャOVSvAppコンポーネント詳細

5. デモOVSvAppのインスタンス作成

6. Appendix

Neutron OVSvApp - OpenStackでもESXiを使いたい方へ -

1. HPEのOpen Sourceクラウド戦略


ハイブリッド技術への懸念従来のシステムの移行や、クラウドとの連携が困難

マルチクラウドに伴う非標準化クラウド間の連携や相互接続性がないため、円滑にサービス運用することが困難

性能課題クラウドのセキュリティやパフォーマンス保証がされないため、サービス展開が困難

1-1. HPEのクラウド戦略-クラウドの課題 -

クラウドを利用すると、逆にベンダー固有のクラウドに振り回されがち。


1-1. HPEのクラウド戦略-クラウドに求められるソリューション -

クラウドの課題を意識させないように、抽象化された標準的なインターフェースで包括できるソリューションが求められる。

Standard Interface

Hardware Software ProfessionalService

ManagedCloud

PublicCloud

自社でクラウドを作るお客様外部のクラウドを使うお客様

ハイブリッド技術への懸念性能課題マルチクラウドに伴う非標準化


1-1. HPEのクラウド戦略- HPEのクラウド戦略 -

クラウドを作るお客様にも、使うお客様にも、オープンなソリューションでクラウドの課題を解決し、ベンダー固有のクラウドから開放する。(複雑なビジネス変化への対応が可能)

HPEのクラウド戦略は『Open Source』

Hardware Software ProfessionalService

ManagedCloud

PublicCloud

Standard Interface = 『Open Source』の活用

自社でクラウドを作るお客様外部のクラウドを使うお客様


1-2. HPEとOpenStack- HPEがOpenStackを選んだ理由 -

Anti-Vendor Lock-In特定ベンダの意向に振り回されない。機能の仕様決定プロセスが公開されている。

ハイブリッドクラウドの実現異種クラウドを同じAPIから操作出来る。

ソリューションの統合各技術分野のリーダーがアイデアを持ち寄り、先進技術も、コモディティ技術も標準インターフェースで包括している。

最先端技術もコモディティも、プライベートクラウドもパブリックも、標準APIで容易に使える『OpenStack』の設計思想を選択。


1-2. HPEとOpenStack- HPEのOpenStackへの貢献 -

http://stackalytics.com/

others

OpenStackへのコントリビュートHPE自身が商用製品化とサービス運用を通じ、必要/充実させたいと考えた機能を提案

※2015/10/18時点


- OpenSourceの利用状況 -

http://superuser.openstack.org/articles/openstack-users-share-how-their-deployments-stack-up

Open Source

機能とコストのトレードオフ

・オープンソースの利用率が高くなっているが、まだ機能が限られる。

→コストを抑えられるが機能に制限

・商用製品は機能豊富だが、多くの企業が投資できるわけではない。

→資金があり、専有という戦略であれ

ば機能豊富な製品を利用

流れは、『Proprietary』から『Open』へ

Vendor Products(※OpenDaylightを除く)

1-2. HPEとOpenStack

2. OpenStack + VMware ESXiの連携


vSphere

2-1. OpenStack + VMware ESXiの現状- OpenStack + VMware ESXiの連携 -

OpenStackのCompute NodeにESXiを利用するためには、Novaだけでなく、Neutron連携が必要である。

Horizon(Dash Board)

Nova(Compute)

Cinder(Block Storage)

Neutron(Network)

VMwarevCenter

NetworkController

VMwareVCDriver

ESXi

No

va

Co

mp

ute

-Sch

ed

ule

r

SharedStorage

VMwareVMDK Driver

ESXi

http://docs.openstack.org/kilo/config-reference/content/vmware.html


① Flat構成

テナントの概念がなく、全ての仮想マシンが同一のネットワークに配置される。

② VLAN構成

テナント毎にVLANが払い出され、テナント用のネットワーク(ポートグループ)に仮想マシンが所属される。

③ Flat構成

Nova-network同様、テナントの概念がなく、全ての仮想マシンが同一のネットワークに配置される。

④ SDN構成 (ベンダー製)

VLANやVXLANを利用して、ネットワークの分割が可能であり、L3の機能やFloating IP / Metadata Proxyなど、ほぼ全ての機能が実装されている。

2-1. OpenStack + VMware ESXiの現状- Network構成の選択肢 -

nova-networkの利用 neutronの利用


ESXi

ESXi

vSwitch / vDS

OpenStackController Node

2-1. OpenStack + VMware ESXiの現状-① Nova-network Flat構成 -

nova-network(Network)

VMware vCenter

eth1

vmnic1

vSwitch / vDS

vmnic1

Port Groupbr100

Port Groupbr100

VM

VM

nova-compute(Compute)

VM

VM

eth0

Flat Network

vmnic0

vmnic0

ManagementNetwork

特徴デフォルトで、br100に紐付けられたPortGroupが利用でき、全てのテナントVMは、同じネットワーク上に配置される。


ESXi

ESXi

vSwitch / vDS


2-1. OpenStack + VMware ESXiの現状-② Nova-network VLAN構成 -

nova-network(Network)

VMware vCenter

eth1

vmnic1

vSwitch / vDS

vmnic1Port Group (vlan40)

VM

VM


VM

VM

eth0

Flat Network

vmnic0

vmnic0

ManagementNetwork

Port Group (vlan30)

Port Group (vlan40)

Port Group (vlan30)

VM

VM

eth1.30

eth1.40

特徴テナント毎のVLANに対して、ポートグループが配置される。事前にどのvmnicを割り当てるかを指定しておく。


ESXi

ESXi

vSwitch / vDS


2-1. OpenStack + VMware ESXiの現状-③ Neutron Flat構成 -

neutron-server(Network)

VMware vCenter

eth1

vmnic1

vSwitch / vDS

vmnic1

Port Groupbr-int

Port Groupbr-int

VM

VM


VM

VM

eth0

vmnic0

vmnic0

ManagementNetwork

OpenStackNetwork Node

eth1

eth0

Data Network

neutron-agents(Network components)

特徴br-intに紐付けられたPortGroupが利用でき、全てのテナントVMは、同じネットワーク上に配置される。


ESXi

ESXi

vSwitch / vDS


2-1. OpenStack + VMware ESXiの現状-④ Neutron SDN 構成 -

neutron-server(Network)

VMware vCenter

vmnic1

vSwitch / vDS

vmnic1


eth0

vmnic0

vmnic0

ManagementNetwork

OpenStackNetwork Node

eth1

eth0

Data Networkneutron-agents(Network components)

SDN製品

Port Group (vlan40)

VM

VM

VM

VM

Port Group (vlan30)

Port Group (vlan40)

Port Group (vlan30)

VM

VM

特徴多くの機能を利用できるが、機能やサポートがSDN製品に依存する。


2-2. OpenStack + VMware ESXiの課題-ネットワーク連携の限界 -

ベンダー製品(SDN製品)を利用しなければ、機能豊富なネットワーク連携は出来ないのが現状

Network 構成特徴今後の課題

nova-network Flat すべての仮想マシンがFlatに同一のネットワークに配置。

廃止予定

VLAN テナントごとのVLANの払い出しが可能で、SDNを使わないなかでは機能が豊富

廃止予定

neutron Flat すべての仮想マシンがFlatに同一のネットワークに配置。

テナント分離というOpenStackの利点が活かせない

SDN 機能豊富な製品が多く、VMware１択でもよければNSXを利用。

利用機能やサポートの点でベンダーロックインを避けられない

nova-networkは廃止予定


- SDN製品利用の注意点 -

SDN製品を使う場合は、利用したい機能と、サポート状況を詳細に把握しなければいけない。 = 『ベンダーロックイン』

2-2. OpenStack + VMware ESXiの課題

OpenStackのAPIに合わせて機能提供を行っているため、全ての機能を網羅できているわけではない。よって、利用する環境や要件に合わせて、SDN製品を選ぶ必要がある。

OpenStackのリリースに合わせて開発を行っているわけではない。SDN製品の提供背景やサポート状況を随時把握する必要がある。

HorizonやOpenStackのCLIから操作できないため、SDN 製品専用の管理ツールを使用する必要がある。

提供機能の確認サポートの確認管理ツールの非一元化


- OpenStack Communityの対応 -

OpenStack Community内でもVMware ESXiとNeutron連携の実装が進んでいる。

2-2. OpenStack + VMware ESXiの課題

+

3. OVSvAppの概要


3-1. OVSvAppの概要- Neutron OVSvAppとは -

OVSvAppはOpenStack環境において、ESXi上に構築されたテナントVMの、L2ネットワーク通信を制御するプロセス。

テナントネットワーク

ESXiのPortGroupを利用し、OpenStack上で構築された各テナントのネットワークを管理。

セキュリティグループ

Open vSwitchベースのFirewallドライバを利用し、テナントVM間のアクセスコントロールを行う。

Security: VLAN-ネットワーク隔離-トラフィック制御


3-1. OVSvAppの概要- Neutron OVSvApp導入のメリット -

既存ESXi環境からの移植性の高さ既存のESXiリソースに依存せず、OpenStack管理下に移行が可能。

コスト削減オープンソースライセンスで、ESXiとのネットワーク連携が可能。

長期利用の安定性正式にCommunity Neutron Project(Neutron/Networking-vSphere)に組み込まれ、ソースコードが公開されているため、メンテナンスを継続する事が可能。

4. OVSvAppのアーキテクチャ


4-1. コンポーネント概要-コンポーネント全体像 -

「OVSvApp VM」, 「Nova-compute」, 「Neutron-Server」が連携して実装されている。

vSphere

Horizon(Dash Board)

NovaCompute


NeutronServer

VMwarevCenter

VMwareVCDriver

ESXi

No

va

Co

mp

ute

-Sch

ed

ule

r

SharedStorage

VMwareVMDK Driver

ESXi

OVSvApp

OVSvApp

③ OVSvAppVM形式のコンポーネントで、2つのvDSと、ESXiごとに1VMが必要

① Nova-computeOVSvApp用にカスタマイズされたVCDriverを利用

② Neutron-serverOVSvApp用のメカニズムドライバを利用


vSphere

DataCenter

Cluster

-コンポーネント詳細 -

4-1. コンポーネント概要

① Nova-Compute

nova-computeは、VMware vCenterServerと通信を行うことで、Openstack管理下のESXi(Compute Node)全体のコントロールを行う。※OVSvAppソリューション用にカスタマイズされたnova-computeサービス(Nova VCDriver)を利用。

② Neutorn-Server

OVSvAppエージェントに対して、テナントVMのネットワークとポート情報を提供。

OVSvAppは、ML2メカニズムドライバに含まれる。

NovaCompute

NeutronServer

VMwareVCDriver

ESXi

ESXi

OVSvApp

OVSvApp

REST

VMwarevCenter

AMQP


NetworkNode

ESXi (Compute Node) ESXi (Compute Node)

vDS 2

-コンポーネント詳細 -

4-1. コンポーネント概要

③ OVSvApp

VM

各ESXiに１台必要で、同一ESXi上に構築されたテナントVMの通信トラフィックを制御している。

vDS(vSphere Distribution Switch)

通信トラフィック制御には、2つのvDSを利用する。vDS 1:外部ネットワーク通信用のdvUplinkを利用せず、テナントVMとOVSvApp間の通信を提供。

vDS 2: 1つ以上のdvUplinkを必要とし、外部ネットワークとのデータ通信を提供。

OVSvApp

TenantVM

TenantVM

br-sec

br-int

br-ethX

OVSvAppbr-sec

br-int

br-ethX

Data Port Group

vDS 1

Trunk Port Group

VM Port Group 1 VM Port Group 2

TenantVM

TenantVM

Mgmt Port Group

ManagementNetwork

Data Network

ControllerNode


4-2. OVSvAppの内部構造- Open vSwitch Bridgeの概要 -

NetworkNode

ESXi (Compute Node) ESXi (Compute Node)

vDS 2

OVSvApp

TenantVM

TenantVM

br-sec

br-int

br-ethX

OVSvAppbr-sec

br-int

br-ethX

Data Port Group

vDS 1

Trunk Port Group


TenantVM

TenantVM

Mgmt Port Group

ManagementNetwork

Data Network

ControllerNode

3種類のOpen vSwitch Bridgeを利用する。

Security Bridge

Integration Bridge

※VLAN構成の場合は、「br-ethX」を利用し、VXLAN構成の場合は、「br-tun」を利用。

Physical Bridge


4-2. OVSvAppの内部構造- Open vSwitch Bridgeの詳細 -

Security Bridge (br-sec)

セキュリティグループのルールに基づいて、テナントVMのトラフィックを扱うブリッジ。

Integration Bridge (br-int)

Security Bridgeと物理インターフェイス用ブリッジを接続するためのブリッジ。

Physical Connectivity Bridge (br-ethX)

VLAN構成の際に使用し、物理ネットワークインターフェイスとの接続を提供するためのブリッジ。

Tunnel Bridge (br-tun)

VXLAN構成の際に利用し、テナントVMのトラフィック転送時に、VXLANトンネルを確立するためのブリッジ。

※VLAN構成の場合は、「br-ethX」を利用し、VXLAN構成の場合は、「br-tun」を利用。


- VM作成処理の流れ -

4-3. テナントVM作成処理フロー

テナントVM

作成要求

テナントVM

作成

ネットワーク

情報要求

ポートグルー

プの作成vNICの接続

br-secの更

新

Nova-Compute vCenter vCenterOVSvApp OVSvAppNova-Compute

Security: VLAN-ネットワーク隔離-トラフィック制御

テナントVM作成時は、予めvNICの無いVMを作成してから、ネットワークの設定を行った上で、vNICの接続を行う。



HorizonやCLIからVM作成を行うと、Nova compute-schedulerに従い、nova-computeにVM作成要求が通知される。

vSphere

Horizon(Dash Board)

NovaCompute


NeutronServer

VMwarevCenter

VMwareVCDriver

ESXi

No

va

Co

mp

ute

-Sch

ed

ule

r

SharedStorage

VMwareVMDK Driver

ESXi

OVSvApp

OVSvApp

-①テナントVM作成要求 -

新規テナントVMの作成

テナントVM作

成要求

テナントVM作

成

ネットワーク

情報要求

ポートグルー

プの作成vNICの接続 br-secの更新



Nova-computeからvCenterにVM作成要求が通知され、管理下の空きESXi上に、テナントVMが作成される。

vSphere

Horizon(Dash Board)

NovaCompute


NeutronServer

VMwarevCenter

VMwareVCDriver

ESXi

No

va

Co

mp

ute

-Sch

ed

ule

r

SharedStorage

VMwareVMDK Driver

ESXi

OVSvApp

OVSvApp

-②テナントVM作成 -

管理しているESXiの空きリソースを計算してVMを作成。

vNICの無いVMが作成される。

VM

DBに割当ポート情報を追加。

テナントVM作

成要求

テナントVM作

成

ネットワーク

情報要求

ポートグルー




VMが作成されると、OVSvAppに完了が通知され、Neutron Serverに割り当てられるネットワークやセキュリティグループ情報を要求する。

vSphere

Horizon(Dash Board)

NovaCompute


NeutronServer

VMwarevCenter

VMwareVCDriver

ESXi

No

va

Co

mp

ute

-Sch

ed

ule

r

SharedStorage

VMwareVMDK Driver

ESXi

OVSvApp

OVSvApp

-③テナントVMのネットワーク情報要求 -

VMが作成されたことを通知。

割り当てられるネットワーク情報や、セキュリティグループ情報を要求。

VM

テナントVM作

成要求

テナントVM作

成

ネットワーク

情報要求

ポートグルー




OVSvAppは、NeutornServerからVMのネットワーク情報を得たあと、vCenterにポートグループの作成を要求する。

vSphere

Horizon(Dash Board)

NovaCompute


NeutronServer

VMwarevCenter

VMwareVCDriver

ESXi

No

va

Co

mp

ute

-Sch

ed

ule

r

SharedStorage

VMwareVMDK Driver

ESXi

OVSvApp

OVSvApp

-④ポートグループの作成 -

Neutron Serverから得た情報を元に、ポートグループ(VLAN)の作成を要求

全てのOVSvAppにセキュリティグループや割当ネットワークの情報を送信

VM

ポートグループ作成完了をNova Computeに通知

テナントVM作

成要求

テナントVM作

成

ネットワーク

情報要求

ポートグルー




Nova-computeは、vCenterに対してvNIC追加を要求し、再構成後にVMをパワーONにする。

vSphere

Horizon(Dash Board)

NovaCompute


NeutronServer

VMwareVCDriver

ESXi

No

va

Co

mp

ute

-Sch

ed

ule

r

SharedStorage

VMwareVMDK Driver

ESXi

OVSvApp

OVSvApp

-⑤ vNICの接続 -

テナントVMにvNICを追加するように要求

VMを再構成し、パワーONにする。

VM

VMwarevCenter

テナントVM作

成要求

テナントVM作

成

ネットワーク

情報要求

ポートグルー




OVSvAppはSecurity Group情報を、Security Bridgeに反映し、Neutron Serverに状態を更新して完了する。

vSphere

Horizon(Dash Board)

NovaCompute


NeutronServer

VMwareVCDriver

ESXi

No

va

Co

mp

ute

-Sch

ed

ule

r

SharedStorage

VMwareVMDK Driver

ESXi

OVSvApp

OVSvApp

-⑥ Security Bridgeの更新 -

Portの管理状態(admin-state)を更新

VM

VMwarevCenter

Security Bridgeにセキュリティグループを追加

Security Bridgeにセキュリティグループを追加

テナントVM作

成要求

テナントVM作

成

ネットワーク

情報要求

ポートグルー


5. デモ

6. Appendix


6-1. OpenStackとOVSvApp-物理構成例 -

Network Node ESXi (Compute Node)Controller Node ESXi (Compute Node)vCenter Server

OVSvApp

DB

Data NetworkExternal Network

Management Network

TenantVM

TenantVM

vDS

br-secbr-int

br-ethX

OVSvAppbr-secbr-int

br-ethX

vDS

Trunk Port Group


TenantVM

TenantVM

Keystone

Neutron Server

Nova Scheduler

Glance

Message Queue

NetworkingL3 Agent

NetworkingDHCP Agent

NetworkingMetadata Agent

NetworkingOpen vSwitch Agent

vSphereAPI

Data Port Group Mgmt Port Group

Nova-Compute


6-2. OVSvAppのテナントVM作成フロー- VLANベース -


6-2. OVSvAppのテナントVM作成フロー- VXLANベース -


参考サイト URL

Neutron/Networking-vSphere公式サイト

https://wiki.openstack.org/wiki/Neutron/Networking-vSphere

ソースコード https://github.com/openstack/networking-vsphere

OVSvApp Solution White Paper https://github.com/hp-networking/ovsvapp/blob/master/OVSvApp_ Solution.pdf

HP Helion OpenStack® 1.1 and 1.1.1:

Deploying and Configuring OVSvApp on ESX hosts

http://docs.hpcloud.com/commercial/GA1/1.1commercial.install-GA-ovsvapp.html

Bringing ESX Deployments into native OpenStack OVSvApp

http://www.slideshare.net/romilgupta19/bringing-esx-deployments-into-native-openstack-ovsvapp

6-3. References

https://wiki.openstack.org/wiki/Neutron/Networking-vSphere

https://github.com/openstack/networking-vsphere

https://github.com/hp-networking/ovsvapp/blob/master/OVSvApp_Solution.pdf

http://docs.hpcloud.com/commercial/GA1/1.1commercial.install-GA-ovsvapp.html

http://www.slideshare.net/romilgupta19/bringing-esx-deployments-into-native-openstack-ovsvapp


HP Helion OpenStackは、HP自身が開発をリードしてきたOpenStackを機能強化して展開するソフトウェアディストリビューション製品です。クラウド環境を作りたいお客様の希望を、手軽にマルチベンダのプライベートクラウド環境として実現できます。

楽＆安心

• HPパブリッククラウド、OpenStackの運用経験とノウハウを製品に活かす

• OpenStackの可用性、拡張性、運用容易性を高める付加機能を搭載(HA、負荷分散、インフラモニタリング、ログ管理、アップデート)

• インストーラーにより、環境全体を自動セットアップ

先進機能

• OpenStack Junoをベースに独自ノウハウ・機能を取り込み(“Neutron DVR” 分散仮想ルーターなど)

リーズナブル

• CPUやメモリ量によらない、物理サーバー単位のサブスクリプション

• 魅力的なバンドル機能 (HP hLinux+KVM、DVR、StoreVirtual VSA、運用系機能)

概要

HP Helion OpenStack Distributionの特長と価値 HP Helionプロフェッショナルサービス

HP Helion OpenStack

クラウド基盤の企画/検証/導入からサービス立ち上げ/運用までの全てのフェーズにおいて、OpenStackのエキスパートチームがお客様を強力に支援します。

OpenStack設計

OpenStack構築

OpenStack環境への移行

ハイブリッドクラウドバック

アップ

ファイル共有

(HP Data Drive)

OpenStack対応

ストレージ

クラウド利用基準策定

検証支援アセスメント

HPのノウハウをOpenStackディストリビューションでクラウド環境を構築

作る

• オープンスタンダードによる可搬性と互換性• 進化し続けるオープンソースを活用• パブリッククラウドとの共通アーキテクチャ

Open

• End to Endでセキュリティを確保• 標準化と可視化で統制を容易にSecure

• 短期間でのITリソース提供を実現• APIで制御可能なITリソースの提供• 経済規模にあった投資

Agile

個別構築クラウド

使う

HP Helion Public Cloud

「あのクラウド」と価格面でも真っ向勝負！世界最大の

OpenStackパブリッククラウド

HP HelionOpenStack Distribution

パブリッククラウド

HP Helion OpenStack 共通アーキテクチャー

Neutron OVSvApp -OpenStackでもESXiを使いたい方へ- (2015/10/25/ OSC Tokyo/Fall)

Technology

Transcript of Neutron OVSvApp -OpenStackでもESXiを使いたい方へ- (2015/10/25/ OSC Tokyo/Fall)